Compreender dados organizados sequencialmente - seja linguagem, música ou vídeo - é difícil, especialmente quando é altamente dependente do contexto que os cerca. Por exemplo, se uma pessoa ou qualquer objeto desaparece do campo de visão do vídeo e reaparece após um período de tempo significativo, muitos modelos esquecerão sua aparência. No reino do processamento de linguagem, as redes neurais de memória de curto prazo longa (LSTM ) fornecem contexto suficiente para traduzir com sucesso frase por frase . Nesse caso, a janela de contexto (ou seja, a cobertura dos dados que o modelo leva em consideração ao traduzir) pode conter de dez a cem palavras. Modelo de Transformer mais recentenão apenas melhorou a qualidade da tradução consecutiva, mas pode ser usado para gerar artigos inteiros da Wikipedia resumindo vários documentos. Isso é possível devido ao fato de que o Transformer ampliou a janela de contexto para mil palavras. Além disso, um contexto considerado tão vasto permite utilizar o Transformer para processar não só texto, mas também pixels ou notas musicais, a partir das quais podem ser geradas imagens ou música .

. , . , 100 , 100 100 , 10 , . . , , ( – ). , , , .

Reformer – , 1 16 . Reformer , : (locality-sensitive-hashing, LSH), , (reversible residual layers) .

, – ? LSH : , , -, . , , ( ), . , . , , , , – (chunks), . ( ) , .

: Reformer , ( , ), . LSH , . .

LSH , . GPU, , , . , . , .

, Reformer', : , , . , , . , . , , . , , ; . , , , .

: (a) . (b) , . () , .

Reformer'

Reformer' , 1 16 . , Reformer , . , Reformer' .

, – . Colab- Reformer' . , , Reformer (. ).

: , Reformer'. : «» . Imagenet64.

Reformer' , . Reformer . , Colab- « ». , , , Reformer, .

, Reformer , . , , Reformer', . , . , Reformer'. Colab– , .

• — Nikita Kitaev, Łukasz Kaiser
• —
• —