Tendo mergulhado no tópico DL PNL, me deparei com um repositório interessante na Internet . Isso não é muito, não é suficiente - GPT-2 russo ! Bem, isso é Falando russo. E não alguns pequenos 117M, mas bastante 1250M, o que já é bastante sério. O autor trabalhou muito na adaptação do modelo original e na preparação do corpus para o treinamento. E o treinamento em si, suponho, consumiu muito tempo e força. Em geral, respeito ao camarada l4rz ! Pretendo seguir seus passos e treinar o sistema no meu caso (que estou atualmente em processo de preparação) - felizmente, o autor deixou instruções bastante detalhadas sobre como abordar uma tarefa em tão grande escala ... Vou relatar os resultados! ;)
Nesse ínterim, puramente por diversão, proponho ao público alguns experimentos com o sistema, baseados no post sobre o cooler GPT-3 (embora o autor, obviamente, não considere o GPT-3 algo excepcional por lá). Por um lado, o sistema apresentado aqui é muito mais simples do que o GPT-3, por outro lado, ainda é um modelo treinado em russo! Eu achei engraçado.
Aviso Legal. Os resultados são amplamente determinados pelo corpus com o qual a rede aprendeu. Aqui está o que o autor diz sobre isso: Eu copiei alguns sites da imprensa russa , analisei HTML com beautifulsoup4 e salvei textos analisados, bem como metadados (cabeçalhos, TL; DRs, carimbos de data / hora) para posterior classificação e pós-processamento em PKLs ... Para enviar as coisas além disso, o conjunto de dados de 4 Gb (tokens de 415 M) foi aumentado com 3 Gb de fanfics filtrados , tornando-se um de 7 Gb (tokens de 862 M).
A técnica experimental é simples: executo a rede três vezes com a mesma entrada. A saída da rede está marcada em negrito... Não fiz nenhuma edição, exceto as puramente cosméticas - como espaços ausentes (que foram omitidos devido à minha interferência no código *). No geral, os experimentos repetem aqueles descritos no artigo sobre GPT-3, e decidi não comentá-los de forma alguma ...;)
Experimento # 1
. >>>Você se serve de um copo de suco de cranberry, mas então, distraidamente, adiciona uma colher de chá de suco de uva a ele. Ele parece bem. Você tenta cheirar, mas está com um resfriado forte, então não sente o cheiro. Você está com muita sede. Portanto, você bebe café com mel e açúcar.>>> novo
Você se serve de um copo de suco de cranberry, mas então, distraidamente, adiciona uma colher de chá de suco de uva a ele. Ele parece bem. Você tenta cheirar, mas está com um resfriado forte, então não sente o cheiro. Você está com muita sede. Então você se serve de café novamente. Você se sente enjoado. Não tem nada de errado nisso, você não sabe como beber de qualquer jeito. Você sente algo muito ruim, mas ninguém presta atenção em você.>>> novo
Você se serve de um copo de suco de cranberry, mas então, distraidamente, adiciona uma colher de chá de suco de uva a ele. Ele parece bem. Você tenta cheirar, mas está com um resfriado forte, então não sente o cheiro. Você está com muita sede. Então você continua comendo se quiser, mas não sabe como é.
Experiência # 2
. >>>Você deu uma pequena festa. Você quer servir o jantar na sala de estar. A mesa da sala de jantar é mais larga do que a porta, e você terá que beber um copo de leite quente para movê-lo para a sala de estar .>>> novo
Você deu uma pequena festa. Você quer servir o jantar na sala de estar. A mesa da sala de jantar é mais larga do que a porta e dá alguns passos para entrar na sala de estar .>>> novo
Você deu uma pequena festa. Você quer servir o jantar na sala de estar. A mesa da sala de jantar é mais larga do que a porta, e dá muito trabalho movê-la para a sala de estar .
Experiência # 3
. >>>Você é advogado de defesa e precisa comparecer ao tribunal hoje. Enquanto se veste de manhã, você descobre que as calças do seu terno estão muito sujas. No entanto, seu calção de banho é limpo e muito elegante. Estas são as sungas de luxo da França que Isabelle deu a você no seu aniversário. Você decide o que vestir para o julgamento ?>>> novo
Oh sim*
Você é advogado de defesa e precisa comparecer ao tribunal hoje. Enquanto se veste de manhã, você descobre que as calças do seu terno estão muito sujas. No entanto, seu calção de banho é limpo e muito elegante. Estas são as sungas de luxo da França que Isabelle lhe deu de presente de aniversário. Você decide o que vestir para o julgamento . Se você não gosta de alguma coisa, leve roupas do guarda-roupa com você.>>> novo
Você é advogado de defesa e precisa comparecer ao tribunal hoje. Ao se vestir de manhã, você descobre que as calças do seu terno estão muito sujas. No entanto, seu calção de banho é limpo e muito elegante. Estas são as sungas de luxo da França que Isabelle lhe deu de presente de aniversário. Você decide o que vestir para o julgamento ?
- Tenho muitas perguntas para um advogado.
Experiência # 4
. >>>Ontem deixei minhas roupas na lavanderia, e hoje ainda preciso buscá-las. Onde estão minhas roupas?>>> novo
- Idiota, eu preciso trazê-lo de volta, não fazer tudo lá conforme planejado.
Ontem deixei minhas roupas na lavanderia, e hoje ainda preciso buscá-las. Onde estão minhas roupas?>>> novo
- Não, não sei o que são essas coisas, mas sempre posso levar, e nem sempre isso é agradável.
Ontem deixei minhas roupas na lavanderia, e hoje ainda preciso buscá-las. Onde estão minhas roupas?
- OK. Não vou incomodá-lo ”, respondi.
Experiência # 5
. >>>Janet e Penny foram à loja comprar um presente para Jack. Janet disse: "Vou comprar uma blusa para Jack". “Não compre um top para Jack”, diz Penny. “Ele tem um top. Ele vai pegar de mim quando quisermos, e se você não comprar Jack, vai vender Jack.>>> novo
Janet e Penny foram à loja comprar um presente para Jack. Janet disse: "Vou comprar uma blusa para Jack". “Não compre um top para Jack”, diz Penny. “Ele tem um top. Ele vai pegar seu pedaço de Jack.>>> novo
Janet e Penny foram à loja comprar um presente para Jack. Janet disse: "Vou comprar uma blusa para Jack". “Não compre um top para Jack”, diz Penny. “Ele tem um top. Ele vai receber . Eu vou levar. Ele está sempre presente. E não vou vender. Ao contrário de Jack. Ele não está interessado no que não lhe agradou tanto. Ele não vai comprar nada além de comprar a si mesmo.
Experiência # 6
. >>>Na festa, me servi de um copo de limonada, mas estava azedo demais, então acrescentei um pouco de açúcar. Como não havia colher, mexi a bebida com um cigarro. Mas acabou sendo uma péssima ideia, porque eu já bebia há muito tempo. Nossa, que sabor maravilhoso!>>> novo
Na festa, me servi de um copo de limonada, mas estava azedo demais, então acrescentei um pouco de açúcar. Não havia colher em mãos, então mexi a bebida com um cigarro. Mas acabou sendo uma péssima ideia, porque a limonada me impediu de beber.>>> novo
Na festa, me servi de um copo de limonada, mas estava azedo demais, então acrescentei um pouco de açúcar. Como não havia colher, mexi a bebida com um cigarro. Mas acabou sendo uma ideia muito ruim, porque estava muito quente, então comecei a beber pela garganta.
Experiência # 7
. >>>, . – .* Uma pequena digressão lírica. Não gostei do GPT-2 com geração ilimitada de texto (meia página por vez), pois estava na fonte. E eu reduzi a saída ao mínimo , mas tornei possível continuar recursivamente (quando a saída anterior é alimentada na entrada). Assim, eu trapaceio um pouco , porque Eu mesmo determino quando você pode / deve parar. Nesse caso, a rede realmente trouxe um resultado que pode ser interpretado com alguma extensão como uma resposta (embora paradoxal), mas se continuarmos a conclusão, então ... Julgue por si mesmo:
1. , . . , , . . .
) .
) .
: 2. )
Resposta correta:>>> novo
2. A) Todo o resto NÃO é necessário saber.
3. B) Dependência.
4. Com que base você quer beber?
… A>>> novo
resposta correta: essas são substâncias tóxicas.
... A
resposta correta é: "Tudo está pronto."
Para este sim, todos ...
PS Se a comunidade disser onde você pode colocar um modelo de 5 Gb (para que fique disponível com algo como wget ) - adicionarei um link para o caderno Colab ao artigo e quem quiser pode colocar o sistema ao vivo ... ) E então minha "hospedagem" doméstica, infelizmente, não suportará o efeito habr. Enquanto isso, posso tentar o que acontece com seu texto como entrada, se alguém estiver interessado!
ATUALIZAÇÃO: Comunidade representada porGrigorovrespondeu, então aqui está o bloco de notas prometido ! Agora você pode experimentar por si mesmo, comparar com o original (link do postDesertFlow Rede neural GPT-2 da OpenAI. Início rápido ) e talvez tirar algumas conclusões. ;) Por exemplo: o idioma é importante no ensino do modelo de idioma?
COMENTÁRIO DO AUTOR : Olá,
sim, claro que não me importo - caso contrário, não teria postado o modelo aqui.
>>> A linguagem importa ao ensinar um modelo de linguagem?
Claro que sim - notei que os modelos com um pequeno número de parâmetros funcionam pior com o idioma russo. Presumo que isso se deva à semântica mais complexa (menos formalizada) do russo em comparação com o inglês; Eu escrevi sobre isso em meu artigo. Além disso, a forma de transmissão dos diálogos, aceita em russo, quando cada réplica começa em uma nova linha e é precedida por um travessão, sem especificar a quem pertencem essas réplicas, não ajuda o modelo a identificar corretamente a estrutura do diálogo (e além disso torna difícil o treinamento, porque o modelo aprende a estruturar quaisquer textos como forma - o mesmo efeito é observado quando qualquer marcação vaza nos dados de treinamento).
Outro ponto que esqueci (parecia óbvio para mim) - se você quiser fazer um ajuste fino deste modelo, então você precisa usar aquele dicionário de frases (sp. *) Que vem com o modelo.
Além disso, ao treinar 1250M, foram utilizadas principalmente notícias, imprensa e, posteriormente, fanfiction, o que se reflete na natureza dos resultados.