O pai da inteligência artificial Jeff Hinton: "O aprendizado profundo pode fazer qualquer coisa"

Antecipando o início do novo fluxo do curso Machine Learning Pro + Deep Learning , estamos compartilhando com vocês a tradução da entrevista da MIT Technology Review com o professor Jeffrey Hinton, que ganhou o ImageNet com seus alunos em 2012, aplicando o deep learning e obtendo uma liderança incrível na competição ... Ao mesmo tempo, suas opiniões eram opostas às da maioria. Agora tudo é diferente. O que o professor pensa sobre o desenvolvimento da inteligência artificial, sobre as várias abordagens a ele? Sobre isso sob o corte.








A revolução da inteligência artificial moderna começou com uma competição de pesquisa discreta. Isso aconteceu em 2012, terceiro ano da competição ImageNet. O desafio das equipes era construir uma solução que reconhecesse mil imagens, de animais e pessoas a paisagens.



Nos primeiros dois anos, as equipes principais não alcançaram mais de 75% de precisão. No terceiro ano, uma equipe de pesquisadores - um professor e seus alunos - de repente rompeu esse teto. Eles ganharam a competição por impressionantes 10,8%. O nome do professor era Jeffrey Hinton e seu método era o aprendizado profundo.



Hinton trabalha com aprendizado profundo desde os anos 1980, mas a eficiência tem sido limitada pela falta de dados e poder computacional. Sua fé inabalável no método acabou gerando grandes dividendos. No quarto ano da competição, quase todas as equipes aplicaram o aprendizado profundo, obtendo ganhos milagrosos em precisão. Logo, o deep learning começou a ser aplicado em vários setores, e não apenas em tarefas de reconhecimento de imagem.



No ano passado, Hinton, junto com os pioneiros da inteligência artificial Jan Lecun e Joshua Bengio, receberam o Prêmio Turing por Contribuições Fundamentais para este campo da ciência.



Você acha que o aprendizado profundo será suficiente para replicar toda a inteligência humana. O que te deixa tão confiante?



Eu acredito que o aprendizado profundo pode fazer tudo, mas eu acho que deve haver alguns avanços conceituais. Por exemplo, em 2017, Ashish Vaswani e seus colegas introduziram transformadores que geram vetores realmente bons que representam os significados das palavras. Foi um avanço conceitual. Agora é usado em quase todos os melhores processamentos de linguagem natural. Precisaremos de várias dessas inovações.



E se tivermos tais avanços, vamos trazer a inteligência artificial para mais perto da inteligência humana usando o aprendizado profundo?



Sim. Especialmente os avanços relacionados a como você obtém grandes vetores de atividade neural para implementar coisas como o pensamento. Mas também precisamos de uma escala enorme. O cérebro humano tem cerca de cem trilhões de parâmetros ou sinapses. O modelo realmente grande que agora chamamos de GPT-3 com 175 bilhões de parâmetros. Isso é mil vezes menor que o cérebro. O GPT-3 agora pode gerar um texto bastante crível, mas ainda é minúsculo em comparação com o cérebro.



Quando você fala sobre escala, quer dizer grandes redes neurais, dados ou ambos?



Ambos. Existe uma incompatibilidade entre o que acontece na ciência da computação e o que acontece nos humanos. As pessoas têm um grande número de parâmetros em comparação com a quantidade de dados que recebem. As redes neurais se saem surpreendentemente bem com muito menos dados e mais parâmetros, mas os humanos são ainda melhores.



Muitos especialistas em IA acreditam que a sanidade da IA ​​é uma habilidade que precisa ser perseguida ainda mais. Você concorda?



Concordo que esta é uma das coisas mais importantes. Eu também acho que o controle de movimento é muito importante, e as redes de aprendizagem profunda estão ficando boas nisso hoje. Em particular, alguns trabalhos recentes do Google mostraram que é possível combinar habilidades motoras finas e fala de tal forma que o sistema possa abrir uma gaveta da mesa, remover um bloco e dizer em linguagem natural o que foi feito.



Para coisas como GPT-3, que gera ótimos textos, está claro que ele precisa entender muito para gerar texto, mas não está totalmente claro o quanto ele entende. Mas quando algo abre a gaveta, tira o bloco e diz: “Acabei de abrir a gaveta e tirei o bloco”, é difícil dizer que ele não entende o que está fazendo.



Os especialistas em IA sempre olharam para o cérebro humano como uma fonte inesgotável de inspiração, e diferentes abordagens à IA resultaram de diferentes teorias da ciência cognitiva. Você acha que o cérebro está realmente construindo uma ideia do mundo para entendê-lo ou é apenas uma forma útil de pensar?



Nas ciências cognitivas, há muito existe um debate entre as duas escolas de pensamento. O líder da primeira escola, Stephen Kosslin, acreditava que quando o cérebro opera com imagens visuais, estamos falando de pixels e seus movimentos. A segunda escola estava mais de acordo com a IA tradicional. Seus adeptos disseram: “Não, não, isso é um absurdo. Essas são descrições hierárquicas e estruturais. A mente tem uma certa estrutura simbólica, nós controlamos essa mesma estrutura. "



Acho que as duas escolas cometeram o mesmo erro. Kosslin pensava que estávamos manipulando pixels porque as imagens externas são feitas de pixels e pixels são a representação que entendemos. A segunda escola pensava que, porque manipulamos a representação simbólica e representamos as coisas por meio de símbolos, é a representação simbólica que entendemos. Acho que esses erros são equivalentes. Dentro do cérebro existem grandes vetores de atividade neural.



Há pessoas que ainda acreditam que a representação simbólica é uma abordagem da IA.



Muito bem. Tenho bons amigos, como o Hector Levesque, que acredita muito na abordagem simbólica e tem feito um ótimo trabalho nesse sentido. Eu discordo dele, mas a abordagem simbólica é uma coisa perfeitamente razoável de se tentar. No entanto, acho que no final percebemos que os símbolos simplesmente existem no mundo externo e realizamos operações internas em grandes vetores.



Qual visão da IA ​​você considera mais oposta em relação às outras?



Bem, meu problema é que eu tinha pontos de vista opostos e, após cinco anos, eles se popularizaram. A maioria das minhas visões opostas da década de 1980 é agora amplamente aceita. Agora é muito difícil encontrar pessoas que discordem deles. Então, sim, minhas visões opostas foram minadas de alguma forma.



Quem sabe, talvez suas visões e métodos de trabalho com IA também estejam no submundo e, em alguns anos, se tornem o padrão da indústria. O principal é não parar no seu progresso. E teremos o maior prazer em ajudá-lo apresentando um código promocional especial HABR , que adicionará 10% ao desconto no banner.



imagem




E









All Articles