Noam Chomsky sobre o futuro do aprendizado profundo

Nas últimas semanas, tenho enviado um e-mail com meu anarco-sindicalista favorito, Noam Chomsky. Falei com ele pela primeira vez para perguntar se seus recentes desenvolvimentos em RNAs (redes neurais artificiais) o forçaram a repensar sua famosa teoria linguística da gramática universal. Nossa conversa abordou as possíveis limitações do aprendizado profundo, quão bem a RNA realmente modela um cérebro biológico e também discutiu tópicos filosóficos. Não citarei o professor Chomsky diretamente aqui, visto que nossa discussão foi informal, mas tentarei resumir as principais descobertas.



E, por falar nisso, ontem, 7 de dezembro, Noam Chomsky completou 92 anos!





kf "Capitão Fantástico"




Um pouco sobre Noam Chomsky



Noam Chomsky é principalmente um professor de linguística (muitos o chamam de "o pai da linguística moderna"), mas ele provavelmente é mais conhecido fora da academia como um ativista, filósofo e historiador. Chomsky é autor de mais de 100 livros e é reconhecido como o principal intelectual público do mundo em uma pesquisa de 2005 da Foreign Policy and Prospect .



Admiro o trabalho de Chomsky, especialmente sua crítica ao imperialismo americano, ao neoliberalismo e à mídia. Nossas opiniões divergiram um pouco em relação à rejeição dele aos filósofos continentais (especialmente aos pós-estruturalistas franceses). Posso ter sido maculado por emprestar muito das fontes de Foucault, Lacan e Derrida no início da minha vida adulta, mas sempre achei a abordagem analítica de Chomsky da filosofia moralmente atraente, mas um pouco "refinada" para uma explicação satisfatória de nosso mundo. Embora seu desdém por esses luminares pós-estruturais seja impressionante, as visões filosóficas de Chomsky são mais sutis do que seus detratores acreditam.



Gramática universal



Devo dizer desde já que não sou linguista, mas nesta parte do artigo tentarei dar uma visão geral da teoria da gramática universal. Antes de Chomsky, a hipótese predominante em linguística era que os humanos nascem com uma mente tabula rasa e adquirem a linguagem por meio de reforço. Ou seja, os filhos ouvem o que os pais falam, imitam o que ouviram e, quando usam uma palavra corretamente ou constroem uma frase, são elogiados. Chomsky mostrou que o reforço é apenas parte do processo e que o cérebro humano deve ter estruturas universais inatas para facilitar a aquisição da linguagem. Seus principais argumentos foram:



  1. As crianças aprendem a linguagem muito rapidamente e há poucos dados para explicar isso por aprendizagem por reforço (um argumento conhecido como "incentivo à pobreza").

  2. , , . 1960- , , 10 , .

  3. . , , .

  4. . , , , , .



Essa teoria da habilidade de linguagem geneticamente codificada ganhou ampla aceitação na comunidade científica, mas a seguinte questão era óbvia: "Como é essa gramática universal?" Logo, exploradores corajosos começaram a descobrir as propriedades comuns de todas as línguas humanas, mas ainda não há consenso sobre a forma que têm nossas habilidades inatas de linguagem. É seguro presumir que uma gramática universal não consiste em regras sintáticas específicas, mas muito provavelmente é uma função cognitiva fundamental.



Chomsky postulou que em algum momento da história, os humanos desenvolveram a habilidade de realizar um processo recursivo simples denominado "fusão", um processo responsável pelas propriedades e limitações das estruturas sintáticas nas linguagens humanas. É um pouco abstrato (e muito complicado para acertar), mas essencialmente "mesclar" é o processo de pegar dois objetos e combiná-los para formar um novo objeto. Apesar da natureza aparentemente prosaica, a capacidade de combinar conceitos mentalmente e fazê-lo recursivamente é enganosa e nos permite criar "uma variedade infinita de expressões hierarquicamente estruturadas". Este pequeno, mas decisivo salto genético poderia não só explicar nossa capacidade de nos comunicarmos verbalmente, mas também levar aque ele pode ser responsável (pelo menos em parte) por nossos talentos matemáticos e criatividade humana em um sentido mais amplo. Essa mutação de “fusão”, que ocorreu em um de nossos ancestrais há cerca de 100.000 anos, pode ser uma das coisas-chave que separam os humanos de outros animais.



Rede neural artificial



A principal razão pela qual entrei em contato com o professor Chomsky foi esta: eu queria ouvir suas opiniões sobre redes neurais artificiais (sei muito mais sobre elas do que sobre linguística). A RNA é um subconjunto de modelos de aprendizado de máquina modelados a partir do cérebro humano e aprendem de maneira semelhante: observando muitos exemplos. Esses modelos requerem muito pouco código e podem realizar uma gama bastante ampla de tarefas complexas (por exemplo, marcação de imagens, reconhecimento de voz, geração de texto ) com uma arquitetura relativamente simples. Um exemplo instrutivo dessa abordagem é o modelo AlphaGo .(desenvolvido pelo Google), que aprendeu a jogar Go (um jogo de tabuleiro difícil e problemático) e acabou se tornando invencível para os campeões mundiais humanos. O mais impressionante nisso é que ela foi treinada para jogar sem regras embutidas ou intervenção humana, ou seja, o modelo era a "tabula rasa". Embora a RNA certamente não seja uma analogia perfeita com o cérebro humano, perguntei ao professor se as RNAs dizem que não precisamos de estruturas cognitivas embutidas em código para aprender a partir de dados dispersos.







Chomsky corretamente apontou que as RNAs são úteis para tarefas altamente especializadas, mas essas tarefas devem ser nitidamente limitadas (embora seu volume possa parecer enorme devido à memória e à velocidade dos computadores modernos). Ele comparou a ANN a um enorme guindaste trabalhando em um prédio alto; embora esse trabalho seja certamente impressionante, tanto o edifício quanto o guindaste existem em sistemas de limite fixo. Essa linha de raciocínio é consistente com minha observação de que todos os avanços no aprendizado profundo que observei ocorreram em áreas muito específicas e não parecemos chegar perto de nada parecido com a inteligência artificial generalizada (seja lá o que isso signifique). Chomsky também apontou para a crescente evidência de que as RNAs não podem modelar com precisão as habilidades cognitivas humanas, que são comparativamente ricas emque os sistemas de computação envolvidos podem se estender até o nível celular.



Se Chomsky estiver certo (e eu acho que ele está), quais são as implicações do avanço da pesquisa de aprendizagem profunda? Afinal, não há nada de mágico no cérebro humano. É apenas uma estrutura física feita de átomos e, portanto, é bastante racional acreditar que em algum momento no futuro seremos capazes de criar uma versão artificial do cérebro capaz de inteligência generalizada. Dito isso, as RNAs modernas oferecem apenas um simulacro desse tipo de cognição e, pela lógica de Chomsky, não alcançaremos essa próxima fronteira sem primeiro aprofundar nossa compreensão de como funcionam as redes neurais orgânicas.



Relativismo moral







A aplicação ética da IA ​​é um grande problema para os cientistas de dados de hoje, mas às vezes pode parecer vaga e subjetiva em outra área específica. O trabalho de Chomsky não apenas fornece uma perspectiva técnica única sobre o futuro do aprendizado profundo; a gramática universal também tem profundas implicações morais, uma vez que a linguagem é como falamos sobre o mundo e o interpretamos. Por exemplo, Chomsky acredita que as estruturas neurais inatas mencionadas anteriormente excluem o relativismo moral e que deve haver restrições morais universais. Existem muitas variedades diferentes de relativismo moral, mas o princípio básico é que não pode haver base objetiva para definições éticas. Os relativistas morais argumentam que, embora possamos acreditar profundamente em afirmações como "a escravidão é imoral",não temos como provar isso empírico para aqueles que discordam de nós, uma vez que qualquer evidência será necessariamente baseada em julgamentos de valor, e nossos valores são, em última análise, exógenos e determinados pela cultura e experiência.



Chomsky argumenta que a moralidade se manifesta no cérebro e é, portanto, por definição, um sistema biológico. Todos os sistemas biológicos têm variações (naturais e devido a diferentes estímulos), mas essas variações também têm limites. Considere o sistema visual humano: experimentos mostraram que ele tem alguma flexibilidade e é moldado pela experiência (especialmente na primeira infância). Variando os dados que entram no sistema visual humano, pode-se literalmente mudar a distribuição dos receptores e, assim, mudar a maneira como uma pessoa percebe as linhas horizontais e verticais. O que você não pode fazer é transformar o olho humano em um olho de inseto ou permitir que alguém veja os raios-X. De acordo com Chomsky, os sistemas biológicos (incluindo a moralidade) podem variar amplamente, mas não infinitamente.Ele prossegue dizendo que mesmo que você acredite que nossa moralidade vem inteiramente da cultura, você ainda precisa adquirir essa cultura da mesma forma que adquire qualquer sistema (como resultado de estruturas cognitivas inatas que são universais).



Meu primeiro acréscimo ao que foi dito neste artigo é o seguinte: se assumirmos que a moralidade é simplesmente uma consequência da "fusão" (ou algo igualmente primitivo), então, embora isso possa impor limites teóricos, minha intuição é que que nossa moralidade pode mudar tão radicalmente que é quase impossível fazer julgamentos universais. Chomsky debateu no passado sobre como o progresso moral parece seguir certas tendências (por exemplo, aceitar diferenças, abandonar a opressão, etc.), mas eu me esforço para entender como essas tendências gerais surgirão consistentemente de tais estruturas cognitivas atômicas simples. Quando falei com o professor sobre isso, ele argumentou que essa visão é ilusória e que, quando não entendemos as coisas, elas parecem ser mais variadas e complexas,do que realmente é. Ele deu um exemplo do desvio observado nos esqueletos dos corpos dos animais após a explosão cambriana. Há apenas 60 anos, a visão prevalecente na biologia era que os organismos mudam tanto que cada um deles deve ser estudado individualmente, mas agora sabemos que isso está completamente errado e que as diferenças genéticas entre as espécies são muito pequenas. As variações em sistemas comprados complexos devem ser mínimas, caso contrário, não seríamos capazes de adquiri-los.As variações em sistemas comprados complexos devem ser mínimas, caso contrário, não seríamos capazes de adquiri-los.As variações em sistemas comprados complexos devem ser mínimas, caso contrário, não seríamos capazes de adquiri-los.



imagem






Não se esqueça do código promocional HABR , que acrescenta 10% ao desconto do banner.








All Articles