
Hoje a mídia social se tornou uma das principais plataformas de comunicação online e na vida real. A liberdade de expressar diferentes pontos de vista, incluindo comentários tóxicos, agressivos e ofensivos, pode ter consequências negativas de longo prazo para as opiniões das pessoas e para a coesão social. Portanto, uma das tarefas mais importantes da sociedade moderna é o desenvolvimento de meios de detecção automática de informações tóxicas na Internet para reduzir as consequências negativas.
Este artigo descreve como resolver esse problema para o idioma russo. Como fonte de dados, usamos um conjunto de dados publicado anonimamente no Kaggle, verificando adicionalmente a qualidade da anotação. Para criar um modelo de classificação, ajustamos duas versões do Codificador de Sentença Universal Multilíngue, Representações do Codificador Bidirecional de Transformadores e ruBERT. O modelo customizado ruBERT apresentou F 1 = 92,20%, foi o melhor resultado da classificação. Disponibilizamos publicamente os modelos treinados e exemplos de código.
1. Introdução
Hoje, o problema de identificação de comentários tóxicos é bem resolvido usando técnicas avançadas de aprendizado profundo [1], [35]. Embora alguns trabalhos investiguem diretamente o tópico de detecção de insultos, discurso tóxico e de ódio em russo [2], [8], [17], há apenas um conjunto de dados disponível publicamente com comentários tóxicos em russo [5]. Foi publicado no Kaggle sem qualquer explicação do processo de anotação, portanto, para fins acadêmicos e práticos, pode não ser confiável sem um estudo aprofundado adicional.
Este artigo é dedicado à detecção automática de comentários tóxicos em russo. Para esta tarefa, verificamos a anotação do conjunto de dados de comentários tóxicos do idioma russo [5]. Em seguida, um modelo de classificação foi criado com base no ajuste fino das versões multilíngues pré-treinadas do Codificador de Sentença Universal Multilíngue (M-USE) [48], Representações do Codificador Bidirecional de Transformadores (M-BERT) [13] e ruBERT [22]. O modelo mais preciso ruBERT-Toxic mostrou F 1 = 92,20% no problema de classificação binária de comentários tóxicos. Os modelos M-BERT e M-USE resultantes podem ser baixados do github.
A estrutura do artigo é a seguinte. Na seção 2descrevemos resumidamente outros trabalhos neste tópico, bem como os conjuntos de dados disponíveis no idioma russo. Na Seção 3, fornecemos uma visão geral do conjunto de dados de comentários tóxicos no idioma russo e descrevemos o processo de verificação de sua anotação. Na Seção 4, descrevemos o refinamento dos modelos de linguagem para a tarefa de classificação de textos. Na seção 5, descrevemos o experimento de classificação. Finalmente, vamos falar sobre o desempenho de nosso sistema e orientações para pesquisas futuras.
2. Outros trabalhos sobre o tema
Um extenso trabalho foi realizado para detectar comentários tóxicos em várias fontes de dados. Por exemplo, Prabowo e colegas usaram o classificador Naive Bayesian Classification (NB), Support Vector Machines (SVM) e Ensemble Decision Trees (RFDT) para detectar ódio e linguagem ofensiva no Twitter indonésio [34]. Os resultados experimentais mostraram uma precisão de 68,43% para a abordagem hierárquica com os sinais dos unigramas de dicionário e para o modelo SVM. No trabalho de uma equipe liderada por Founta [15], uma rede neural de aprendizado profundo baseada em GRU com embeddings GloVe pré-treinados foi proposta para a classificação de textos tóxicos. O modelo mostrou alta precisão em cinco conjuntos de dados, com AUC variando de 92% a 98%.
Mais e mais seminários e competições são dedicados a detectar comentários tóxicos, odiosos e ofensivos. Por exemplo, HatEval e OffensEval em SemEval-2019; HASOC em FIRE-2019; Tarefa compartilhada na identificação de linguagem ofensiva em GermEval-2019 e GermEval-2018; TRAC em COLING-2018. Os modelos usados em problemas variam de aprendizado de máquina tradicional (por exemplo, SVM e regressão logística) ao aprendizado profundo (RNN, LSTM, GRU, CNN, CapsNet, incluindo mecanismo de atenção [45], [49], bem como modelos avançados como ELMo [31], BERT [13] e USE [9], [48]). Um número significativo de equipes que alcançaram bons resultados [18], [24], [27], [28], [30], [36], [38] usaram embeddings dos modelos de linguagem pré-treinados listados.Como as visualizações de modelos pré-treinados tiveram um bom desempenho na classificação, foram amplamente utilizadas em estudos subsequentes. Por exemplo, pesquisadores da Universidade de Lorraine conduziram uma classificação binária multiclasse de mensagens do Twitter usando duas abordagens: treinar um classificador DNN com embeddings de vocabulário pré-treinados e um modelo BERT pré-treinado cuidadosamente ajustado [14]. A segunda abordagem mostrou resultados significativamente melhores em comparação com redes neurais CNN e LSTM bidirecionais baseadas em embeddings FastText.treinando um classificador DNN com embeddings de vocabulário pré-treinado e um modelo BERT pré-treinado cuidadosamente [14]. A segunda abordagem mostrou resultados significativamente melhores em comparação com redes neurais CNN e LSTM bidirecionais baseadas em embeddings FastText.treinando um classificador DNN com embeddings de vocabulário pré-treinados e um modelo BERT pré-treinado cuidadosamente ajustado [14]. A segunda abordagem mostrou resultados significativamente melhores em comparação com redes neurais CNN e LSTM bidirecionais baseadas em embeddings FastText.
Embora um número significativo de estudos [7], [33], [41] tenham sido dedicados ao estudo do comportamento tóxico e agressivo em redes sociais de língua russa, não se deu muita atenção à sua classificação automática. Para determinar a agressividade em textos em inglês e russo, Gordeev usou redes neurais convolucionais e um classificador de floresta aleatório (RFC) [17]. O conjunto de mensagens anotadas como agressivas continha cerca de 1000 mensagens em russo e quase o mesmo em inglês, mas não está disponível publicamente. O modelo treinado da CNN mostrou a precisão da classificação binária de textos em língua russa de 66,68%. Com base nesses resultados, os autores concluíram que as redes neurais convolucionais e as abordagens baseadas em aprendizagem profunda são mais promissoras para identificar textos agressivos.Andruziak e outros propuseram uma abordagem probabilística não supervisionada com um vocabulário de origem para classificar comentários ofensivos do YouTube escritos em ucraniano e russo [2]. Os autores publicaram um conjunto de dados anotado manualmente de 2.000 comentários, mas ele contém textos em russo e ucraniano, portanto, não pode ser usado diretamente para pesquisar textos em russo.
Vários estudos recentes se concentraram na identificação automática de atitudes em relação a migrantes e grupos étnicos nas redes sociais de língua russa, incluindo a identificação de ataques com base na identidade. Bodrunova com co-autores estudou 363.000 publicações em russo no LiveJournal sobre o tema das atitudes em relação aos migrantes das repúblicas pós-soviéticas em comparação com outras nações [8]. Descobriu-se que em blogs de língua russa, os migrantes não se tornaram a causa de discussões significativas e não foram submetidos ao pior tratamento. Ao mesmo tempo, os representantes das nacionalidades do Cáucaso do Norte e da Ásia Central são tratados de maneiras completamente diferentes. Um grupo de pesquisadores liderado por Bessudnov descobriu que os russos são tradicionalmente mais hostis às pessoas do Cáucaso e da Ásia Central; ao mesmo tempo, ucranianos e moldavos são geralmente aceitos como vizinhos em potencial [6].E de acordo com as conclusões do coletivo liderado por Koltsova, a atitude em relação aos representantes de nacionalidades da Ásia Central e ucranianos é a mais negativa [19]. Embora algumas pesquisas acadêmicas tenham se concentrado na identificação de discursos tóxicos, ofensivos e de ódio, nenhum dos autores disponibilizou publicamente seus conjuntos de dados em russo. Até onde sabemos, o conjunto de dados de comentários tóxicos em russo [5] é o único conjunto de comentários tóxicos em russo de domínio público. No entanto, foi publicado no Kaggle sem descrever o processo de criação e anotação, portanto, sem um estudo detalhado, não é recomendado para uso em projetos acadêmicos e práticos.Embora algumas pesquisas acadêmicas tenham se concentrado na identificação de discursos tóxicos, ofensivos e de ódio, nenhum dos autores disponibilizou publicamente seus conjuntos de dados em russo. Até onde sabemos, o conjunto de dados de comentários tóxicos em russo [5] é o único conjunto de comentários tóxicos em russo de domínio público. No entanto, foi publicado no Kaggle sem descrever o processo de criação e anotação, portanto, sem estudo detalhado, não é recomendado para uso em projetos acadêmicos e práticos.Embora algumas pesquisas acadêmicas tenham se concentrado na identificação de discursos tóxicos, ofensivos e de ódio, nenhum dos autores disponibilizou publicamente seus conjuntos de dados em russo. Até onde sabemos, o conjunto de dados de comentários tóxicos em russo [5] é o único conjunto de comentários tóxicos em russo de domínio público. No entanto, foi publicado no Kaggle sem descrever o processo de criação e anotação, portanto, sem estudo detalhado, não é recomendado para uso em projetos acadêmicos e práticos.O conjunto de dados de comentários tóxicos em russo [5] é o único conjunto de comentários tóxicos em russo de domínio público. No entanto, foi publicado no Kaggle sem descrever o processo de criação e anotação, portanto, sem estudo detalhado, não é recomendado para uso em projetos acadêmicos e práticos.O conjunto de dados de comentários tóxicos em russo [5] é o único conjunto de comentários tóxicos em russo de domínio público. No entanto, foi publicado no Kaggle sem descrever o processo de criação e anotação, portanto, sem estudo detalhado, não é recomendado para uso em projetos acadêmicos e práticos.
Como há pouca pesquisa dedicada à definição de comentários tóxicos em russo, decidimos avaliar o trabalho de modelos de aprendizagem profunda no conjunto de dados de comentários tóxicos em russo [5]. Não temos conhecimento de nenhum estudo de classificação com base nesta fonte de dados. Os modelos Multilingual BERT e Multilingual USE estão entre os mais difundidos e bem sucedidos em projetos de investigação recentes. E apenas eles suportam oficialmente o idioma russo. Escolhemos usar o ajuste fino como uma abordagem de transferência de aprendizagem porque em estudos recentes deu os melhores resultados de classificação [13], [22], [43], [48].
3. Conjunto de dados com comentários tóxicos
Definir como russo o idioma Comentários tóxicos O conjunto de dados [5] é uma coleção de comentários anotados dos sites Dvach e Peekaboo . Foi publicado no Kaggle em 2019 e contém 14.412 comentários, dos quais 4.826 são rotulados como tóxicos e 9.586 são não tóxicos. O comprimento médio do comentário é de 175 caracteres, o mínimo é 21 e o máximo é 7 403.
Para verificar a qualidade da anotação, anotamos manualmente alguns dos comentários e os comparamos com as tags originais usando o acordo entre anotadores. Decidimos considerar as anotações existentes como corretas ao atingir um nível significativo ou alto de concordância entre anotadores.
Primeiro, marcamos manualmente 3.000 comentários e comparamos os rótulos de classe resultantes com os originais. As anotações foram escritas por membros falantes de russo da plataforma de crowdsourcing Yandex.Toloka, que já foi usada em vários estudos acadêmicos de textos em língua russa [10], [29], [32], [44]. Como um guia para marcação, usamos as instruções de reconhecimento de toxicidade com atributos adicionais que foram usados no Jigsaw Toxic Comment Classification Challenge. Os anotadores foram solicitados a determinar a toxicidade nos textos, cujo nível tinha que ser indicado para cada comentário. Para melhorar a precisão da marcação e limitar a possibilidade de engano, usamos a seguinte técnica:
- Atribuímos aos anotadores um nível com base em suas respostas para tarefas de controle e banimos aqueles que deram respostas incorretas.
- Acesso restrito às tarefas para aqueles que respondem muito rapidamente.
- Acesso restrito às tarefas dos tópicos, não insere o captcha correto várias vezes seguidas.
Cada comentário foi anotado por 3-8 anotadores usando a técnica de sobreposição dinâmica . Os resultados foram agregados usando o método Dawid-Skene [12] com base nas recomendações de Yandex.Toloka. Os anotadores mostraram um alto nível de concordância entre anotadores, com um alfa de Kripppendorf de 0,81. E o coeficiente kappa de Cohen entre o original e nossos rótulos agregados foi de 0,68, o que corresponde a um nível significativo de concordância entre anotadores [11]. Portanto, decidimos considerar a marcação do conjunto de dados como correta, especialmente considerando as possíveis diferenças nas instruções de anotação.
4. Modelos de aprendizado de máquina
4.1. Abordagens de linha de base
Para as abordagens de linha de base, adotamos uma abordagem básica de aprendizado de máquina e uma abordagem moderna de rede neural. Em ambos os casos, fizemos uma preparação preliminar: substituímos o URL e os apelidos por palavras-chave, removemos os sinais de pontuação e substituímos as letras maiúsculas por letras minúsculas.
Primeiro, aplicamos o modelo Multinomial Naive Bayes (MNB), que apresentou um bom desempenho em problemas de classificação de texto [16], [40]. Para criar o modelo, usamos Bag-of-Words e TF-IDF vetorização. O segundo modelo foi a rede neural de memória bidirecional de longo prazo (BiLSTM). Para a camada de incorporação, nós pré-treinamos os embeddings Word2Vec ( dim= 300) [25] com base na coleção de mensagens do Twitter em russo da RuTweetCorp [37]. E além dos embeddings Word2Vec, adicionamos duas camadas LSTM bidirecionais. Em seguida, adicionamos uma camada totalmente conectada oculta e uma camada de saída sigmóide. Para reduzir o overfitting, adicionamos camadas de regularização com ruído gaussiano e camadas de exclusão (Dropout) à rede neural. Usamos o otimizador de Adam com uma taxa de aprendizado inicial de 0,001 e entropia cruzada binária categórica como a função de perda. O modelo foi treinado com embeddings fixos por 10 épocas. Tentamos desbloquear embeddings em diferentes eras enquanto reduzíamos a taxa de aprendizado, mas os resultados foram piores. A razão provavelmente foi o tamanho do conjunto de treinamento [4].
4.2. Modelo BERT
Duas versões do modelo multilíngue BERT BASE estão agora oficialmente disponíveis , mas apenas a versão Cased é oficialmente recomendada. BERT BASE pega uma sequência de no máximo 512 tokens e retorna sua representação. A tokenização é realizada usando WordPiece [46] com normalização preliminar do texto e separação de pontuação. Pesquisadores do MIPT treinaram o BERT BASE Cased e publicaram o ruBERT - um modelo para a língua russa [22]. Utilizamos os dois modelos - BERT BASE multilíngueCased e ruBERT, que contêm 12 blocos de transformação sequenciais, têm um tamanho oculto de 768, contêm 12 cabeças de autoatenção e 110 milhões de parâmetros. O estágio de ajuste fino foi realizado com os parâmetros recomendados de [43] e do repositório oficial : três épocas de aprendizagem, 10% de estágios de aquecimento, comprimento máximo de sequência 128, tamanho de pacote 32, taxa de aprendizagem 5e-5.
4.3. Modelo MUSE
Multilingual USE Trans leva uma sequência de não mais que 100 tokens como entrada , e Multilingual USE CNN leva uma sequência de não mais que 256 tokens. A tokenização SentençaPiece [20] é usada para todos os idiomas suportados. Usamos um Trans USE multilíngue pré-treinado , que suporta 16 idiomas, incluindo russo, contém um conversor-codificador com 6 camadas de transformação, 8 blocos de cabeça de atenção, tem um tamanho de filtro de 2048, um tamanho oculto de 512. Também usamos um CNN de USE multilíngue pré-treinado que suporta 16 idiomas, incluindo russo, contém um codificador CNN com duas camadas CNN, uma largura de filtro (1, 2, 3, 5), tem um tamanho de filtro. Para ambos os modelos, usamos os parâmetros recomendados comPáginas do TensorFlow Hub : 100 épocas de aprendizado, tamanho de lote de 32, taxa de aprendizado 3e-4.
5. Experimente
Comparamos as abordagens de linha de base e de transferência de aprendizagem:
- Classificador Multinomial Naive Bayes;
- Rede neural de memória bidirecional de longo prazo (BiLSTM);
- versão multilíngue das Representações do Codificador Bidirecional de Transformadores (M-BERT);
- ruBERT;
- duas versões do Codificador de Frases Universais Multilíngües (M-USE).
A qualidade da classificação dos modelos treinados no conjunto de teste (20%) é mostrada na tabela. Todos os modelos de linguagem sintonizados excederam os níveis de linha de base em precisão, recuperação e medida F 1 . ruBERT apresentou F 1 = 92,20%, este é o melhor resultado.
Classificação binária de comentários tóxicos em russo:
Sistema | P | R | F 1 |
MNB | 87,01 % | 81,22 % | 83,21 % |
BiLSTM | 86,56 % | 86,65 % | 86,59 % |
M − BERTBASE − Toxic | 91,19 % | 91,10 % | 91,15 % |
ruBert − Toxic | 91,91 % | 92,51 % | 92,20 % |
M − USECNN − Toxic | 89,69 % | 90,14% | 89,91 % |
M − USETrans − Toxic | 90,85 % | 91,92 % | 91,35 % |
6.
Neste artigo, usamos duas versões ajustadas do Multilingual Universal Sentença Encoder [48], Multilingual Bidirectional Encoder Representations from Transformers [13] e ruBERT [22] para identificar comentários tóxicos em russo. Rubert Tóxico ajustado apresentou F 1 = 92,20%, é o melhor resultado de classificação
Os modelos M-BERT e M-USE resultantes estão disponíveis no github.
Fontes literárias
Lista
- Aken, B. van et al.: Challenges for toxic comment classification: An in-depth error analysis. In: Proceedings of the 2nd workshop on abusive language online (ALW2). pp. 33–42. Association for Computational Linguistics, Brussels, Belgium (2018).
- Andrusyak, B. et al.: Detection of abusive speech for mixed sociolects of russian and ukrainian languages. In: The 12th workshop on recent advances in slavonic natural languages processing, RASLAN 2018, karlova studanka, czech republic, december 7–9, 2018. pp. 77–84 (2018).
- Basile, V. et al.: SemEval-2019 task 5: Multilingual detection of hate speech against immigrants and women in twitter. In: Proceedings of the 13th international workshop on semantic evaluation. pp. 54–63. Association for Computational Linguistics, Minneapolis, Minnesota, USA (2019).
- Baziotis, C. et al.: DataStories at SemEval-2017 task 4: Deep LSTM with attention for message-level and topic-based sentiment analysis. In: Proceedings of the 11th international workshop on semantic evaluation (SemEval-2017). pp. 747–754. Association for Computational Linguistics, Vancouver, Canada (2017).
- Belchikov, A.: Russian language toxic comments, https://www.kaggle.com/ blackmoon/russian-language-toxic-comments.
- Bessudnov, A., Shcherbak, A.: Ethnic discrimination in multi-ethnic societies: Evidence from russia. European Sociological Review. (2019).
- Biryukova, E. V. et al.: READER’S comment in on-line magazine as a genre of internet discourse (by the material of the german and russian languages). Philological Sciences. Issues of Theory and Practice. 12, 1, 79–82 (2018).
- Bodrunova, S. S. et al.: Who’s bad? Attitudes toward resettlers from the post-soviet south versus other nations in the russian blogosphere. International Journal of Communication. 11, 23 (2017).
- Cer, D. M. et al.: Universal sentence encoder. ArXiv. abs/1803.11175, (2018).
- Chernyak, E. et al.: Char-rnn for word stress detection in east slavic languages. CoRR. abs/1906.04082, (2019).
- Cohen, J.: A coefficient of agreement for nominal scales. Educational and psychological measurement. 20, 1, 37–46 (1960).
- Dawid, A. P., Skene, A. M.: Maximum likelihood estimation of observer errorrates using the em algorithm. Journal of the Royal Statistical Society: Series C (Applied Statistics). 28, 1, 20–28 (1979).
- Devlin, J. et al.: BERT: Pre-training of deep bidirectional transformers for language understanding. In: Proceedings of the 2019 conference of the north American chapter of the association for computational linguistics: Human language technologies, volume 1 (long and short papers). pp. 4171–4186. Association for Computational Linguistics, Minneapolis, Minnesota (2019).
- d’Sa, A. G. et al.: BERT and fastText embeddings for automatic detection of toxic speech. In: SIIE 2020-information systems and economic intelligence. (2020).
- Founta, A. M. et al.: A unified deep learning architecture for abuse detection. In: Proceedings of the 10th acm conference on web science. pp. 105–114. Association for Computing Machinery, New York, NY, USA (2019).
- Frank, E., Bouckaert, R.: Naive bayes for text classification with unbalanced classes. In: Fürnkranz, J. et al. (eds.) Knowledge discovery in databases: PKDD 2006. pp. 503–510. Springer Berlin Heidelberg, Berlin, Heidelberg (2006).
- Gordeev, D.: Detecting state of aggression in sentences using cnn. In: International conference on speech and computer. pp. 240–245. Springer (2016).
- Indurthi, V. et al.: FERMI at SemEval-2019 task 5: Using sentence embeddings to identify hate speech against immigrants and women in twitter. In: Proceedings of the 13th international workshop on semantic evaluation. pp. 70–74. Association for Computational Linguistics, Minneapolis, Minnesota, USA (2019).
- Koltsova, O. et al.: FINDING and analyzing judgements on ethnicity in the russian-language social media. AoIR Selected Papers of Internet Research. (2017).
- Kudo, T., Richardson, J.: SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In: Proceedings of the 2018 conference on empirical methods in natural language processing: System demonstrations. pp. 66–71. Association for Computational Linguistics, Brussels, Belgium (2018).
- Kumar, R. et al. eds: Proceedings of the first workshop on trolling, aggression and cyberbullying (TRAC-2018). Association for Computational Linguistics, Santa Fe, New Mexico, USA (2018).
- Kuratov, Y., Arkhipov, M.: Adaptation of deep bidirectional multilingual transformers for Russian language. In: Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference «Dialogue». pp. 333–340. RSUH, Moscow, Russia (2019).
- Lenhart, A. et al.: Online harassment, digital abuse, and cyberstalking in america. Data; Society Research Institute (2016).
- Liu, P. et al.: NULI at SemEval-2019 task 6: Transfer learning for offensive language detection using bidirectional transformers. In: Proceedings of the 13th international workshop on semantic evaluation. pp. 87–91. Association for Computational Linguistics, Minneapolis, Minnesota, USA (2019).
- Mikolov, T. et al.: Distributed representations of words and phrases and their compositionality. In: Proceedings of the 26th international conference on neural information processing systems—volume 2. pp. 3111–3119. Curran Associates Inc., Red Hook, NY, USA (2013).
- Mishra, P. et al.: Abusive language detection with graph convolutional networks. In: Proceedings of the 2019 conference of the north american chapter of the association for computational linguistics: Human language technologies, volume 1 (long and short papers). pp. 2145–2150 (2019).
- Mishra, S., Mishra, S.: 3Idiots at HASOC 2019: Fine-tuning transformer neural networks for hate speech identification in indo-european languages. In: Working notes of FIRE 2019—forum for information retrieval evaluation, kolkata, india, december 12–15, 2019. pp. 208–213 (2019).
- Nikolov, A., Radivchev, V.: Nikolov-radivchev at SemEval-2019 task 6: Offensive tweet classification with BERT and ensembles. In: Proceedings of the 13th international workshop on semantic evaluation. pp. 691–695. Association for Computational Linguistics, Minneapolis, Minnesota, USA (2019).
- Panchenko, A. et al.: RUSSE’2018: A Shared Task on Word Sense Induction for the Russian Language. In: Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference «Dialogue». pp. 547–564. RSUH, Moscow, Russia (2018).
- Paraschiv, A., Cercel, D.-C.: UPB at germeval-2019 task 2: BERT-based offensive language classification of german tweets. In: Preliminary proceedings of the 15th conference on natural language processing (konvens 2019). Erlangen, germany: German society for computational linguistics & language technology. pp. 396–402 (2019).
- Peters, M. et al.: Deep contextualized word representations. In: Proceedings of the 2018 conference of the north American chapter of the association for computational linguistics: Human language technologies, volume 1 (long papers). pp. 2227–2237. Association for Computational Linguistics, New Orleans, Louisiana (2018).
- Ponomareva, M. et al.: Automated word stress detection in Russian. In: Proceedings of the first workshop on subword and character level models in NLP. pp. 31–35. Association for Computational Linguistics, Copenhagen, Denmark (2017).
- Potapova, R., Komalova, L.: Lexico-semantical indices of «deprivation–aggression» modality correlation in social network discourse. In: International conference on speech and computer. pp. 493–502. Springer (2017).
- Prabowo, F. A. et al.: Hierarchical multi-label classification to identify hate speech and abusive language on indonesian twitter. In: 2019 6th international conference on information technology, computer and electrical engineering (icitacee). pp. 1–5 (2019).
- Risch, J., Krestel, R.: Toxic comment detection in online discussions. In: Deep learning-based approaches for sentiment analysis. pp. 85–109. Springer (2020).
- Risch, J. et al.: HpiDEDIS at germeval 2019: Offensive language identification using a german bert model. In: Preliminary proceedings of the 15th conference on natural language processing (konvens 2019). Erlangen, germany: German society for computational linguistics & language technology. pp. 403–408 (2019).
- Rubtsova, Y.: A method for development and analysis of short text corpus for the review classification task. Proceedings of conferences Digital Libraries: Advanced Methods and Technologies, Digital Collections (RCDL’2013). Pp. 269–275 (2013).
- Ruiter, D. et al.: LSV-uds at HASOC 2019: The problem of defining hate. In: Working notes of FIRE 2019—forum for information retrieval evaluation, kolkata, india, december 12–15, 2019. pp. 263–270 (2019).
- Sambasivan, N. et al.: «They don’t leave us alone anywhere we go»: Gender and digital abuse in south asia. In: Proceedings of the 2019 chi conference on human factors in computing systems. Association for Computing Machinery, New York, NY, USA (2019).
- Sang-Bum Kim et al.: Some effective techniques for naive bayes text classification. IEEE Transactions on Knowledge and Data Engineering. 18, 11, 1457–1466 (2006).
- Shkapenko, T., Vertelova, I.: Hate speech markers in internet comments to translated articles from polish media. Political Linguistics. 70, 4, Pages 104–111 (2018).
- Strus, J. M. et al.: Overview of germeval task 2, 2019 shared task on the identification of offensive language. Presented at the (2019).
- Sun, C. et al.: How to fine-tune bert for text classification? In: Sun, M. et al. (eds.) Chinese computational linguistics. pp. 194–206. Springer International Publishing, Cham (2019).
- Ustalov, D., Igushkin, S.: Sense inventory alignment using lexical substitutions and crowdsourcing. In: 2016 international fruct conference on intelligence, social media and web (ismw fruct). (2016).
- Vaswani, A. et al.: Attention is all you need. In: Proceedings of the 31st international conference on neural information processing systems. pp. 6000–6010. Curran Associates Inc., Red Hook, NY, USA (2017).
- Wu, Y. et al.: Google’s neural machine translation system: Bridging the gap between human and machine translation. arXiv preprint arXiv:1609.08144. (2016).
- Yang, F. et al.: Exploring deep multimodal fusion of text and photo for hate speech classification. In: Proceedings of the third workshop on abusive language online. pp. 11–18. Association for Computational Linguistics, Florence, Italy (2019).
- Yang, Y. et al.: Multilingual universal sentence encoder for semantic retrieval. CoRR. abs/1907.04307, (2019).
- Yang, Z. et al.: Hierarchical attention networks for document classification. In: Proceedings of the 2016 conference of the north American chapter of the association for computational linguistics: Human language technologies. pp. 1480–1489. pp. Association for Computational Linguistics, San Diego, California (2016).