Entrevista incomum: GPT-3 como candidato

GPT-3 está na boca de todos hoje - o mais novo e maior modelo de linguagem da OpenAI, treinado em terabytes de textos da Internet. E se você dormiu, aqui está uma seleção de demos legais dos sortudos que tiveram acesso beta antecipado à API.



Infelizmente, não tenho as cobiçadas chaves de API - mas encontrei uma solução alternativa. Há um divertido jogo AI Dungeon que permite que você obtenha acesso indireto ao GPT-3 na forma de uma busca de texto (por uma pequena taxa), que usaremos hoje. Não sei se o modelo está completo lá, ou se é uma versão ajustada, retreinada em scripts de jogos de RPG de texto, mas de repente ele se tornou bom em codificação - tanto que até deixa você um pouco nervoso;)



Para conduzir o experimento, executei o jogo com uma predefinição “personalizada” e configurei o parâmetro “Aleatoriedade” para um mínimo (em 0,2) para evitar fanfar excessivo da imaginação do “entrevistado”. Ir.



Nota: meu texto abaixo está em negrito , as respostas de IA estão em itálico . O texto foi traduzido para o russo, no original a "comunicação" foi realizada em inglês - a rede neural entende a língua russa muito mal. O texto é reproduzido como está , ajustado para algumas liberdades de tradução.



Entrevista



Você é um programador sênior do Google conduzindo uma entrevista preliminar com um candidato. Você vai fazer a ele algumas perguntas para ver se ele consegue escrever código.



Você pergunta: “Olá! Qual é o seu nome?"




O candidato responde: "John Doe".



Você está perguntando: "Você está pronto para escrever algum código JavaScript?"



“Sim!” Ele exclama.



Você: "Você pode escrever uma função que filtre os números ímpares de uma matriz?"



“É claro”, ele responde. Alguns segundos de pressionamento de tecla e ele apresenta o seguinte código:



function filterOdd(array) {
return array.filter(function(value) {
return value % 2 === 1;


“Como está?” Ele pergunta.


Bem, não foi tão inesperado. Ele poderia apenas ter recuperado este exemplo de sua imensa memória - deve haver um monte de exemplos memorizados de StackOverflow para esta solicitação. Um mecanismo de busca convencional também pode produzir esse resultado.



Há também algumas notas menores relacionadas à formatação - a tabulação e os colchetes de fechamento estão faltando, mas isso é provavelmente um problema com a saída HTML do próprio jogo (AI Dungeon), ele realmente não respeita espaços e caracteres especiais, então vamos escrever para ela. É melhor tentarmos algo mais interessante do que cavar estupidamente na pontuação ...



Você: “Ótimo! Você poderia usar uma função de seta no retorno de chamada do filtro? "



“Claro”, ele responde. Após alguns segundos, ele mostra o seguinte código:



function filterOdd(array) {
return array.filter(value => value % 2 === 1);


: « , , ?»



«», . , :



function filterOdd(array) {
return array.filter(value => value % 2 === 0);


: « filterEven. ?»



«», . , :



function filterEven(array) {
return array.filter(value => value % 2 === 0);


: «! filterEven ?»



let filterEven = (array) => array.filter(value => value % 2 === 0);


: «! const let?»



const filterEven = (array) => array.filter(value => value % 2 === 0); 


« ?», .



: «, , :) .»



«, !», .




Você contrataria esse candidato? Provavelmente, ainda não - isso está além do escopo da entrevista, mas se você tentar fazer perguntas realmente difíceis, ele não será capaz de responder corretamente, fornecendo código quebrado com erros estúpidos, não sendo capaz de entender toda a profundidade de sua intenção.



Mas ele entende claramente a gramática e a sintaxe básicas de muitas linguagens de programação populares (para não mencionar as linguagens naturais), e também parece ter memorizado um monte incrível de tudo da Internet e é capaz de recombinar criativamente o que é memorizado de acordo com o contexto que você especificar. Um pouco semelhante ao que as próprias pessoas estão fazendo - só não tão avançado ... por agora :)



Talvez isso não seja AGImas definitivamente pode ser a próxima geração de pesquisa. Seria bom ter sempre um “assistente onisciente” à mão, entendendo o contexto e não exigindo uma entrada estruturada especial - você só precisa perguntar a ele, exatamente da mesma maneira como faria a uma pessoa!



Mal posso esperar pelos próximos usos dessa coisa.



AVISO LEGAL : não se apresse em trazer dinheiro para o Calabouço AI, porque nos comentários, eles escrevem que resultados não triviais são mal reproduzidos e você corre o risco de não obter prazer com o jogo. Talvez seja sobre cotas de API, talvez outra coisa. Recomendo aguardar o lançamento oficial da API GPT-3 da OpenAI.