Análise de sentimento em textos de língua russa, parte 2: pesquisa básica

Os pesquisadores aplicaram a análise de sentimento a textos completamente diferentes em russo: postagens de redes sociais, resenhas, artigos de notícias e livros. Como consequência, os resultados de suas pesquisas também foram completamente diferentes e extremamente interessantes. Por exemplo, quem teria pensado que textos com tom positivo tornam o aprendizado de uma língua estrangeira mais interessante, mas menos eficaz? Nesta série de artigos, veremos como e para quais propósitos as abordagens de análise de sentimento foram usadas para textos em língua russa, quais resultados foram alcançados, quais problemas surgiram e também falaremos um pouco sobre direções promissoras.



Ao contrário de trabalhos anteriores, concentrei-me em aplicações aplicadas e não nas abordagens em si e na sua qualidade de classificação. No primeiro artigodiscutimos o que é “análise de sentimento”, o que é e como foi usada nos últimos 8 anos para analisar textos em russo. Nesta parte, examinaremos mais de perto cada um dos 32 principais estudos que encontrei. Na terceira e última parte (que vem na próxima semana), falaremos sobre desafios comuns enfrentados pelos pesquisadores, bem como rumos promissores para o futuro.

NB: O artigo foi escrito para uma revista científica, portanto, haverá muitos links para fontes.

Muitos estudos usaram dados de redes sociais russas e plataformas de agregação. Abaixo está uma breve descrição dos recursos e estatísticas russos e estrangeiros mais populares de seu uso.

• 90 , . Deloitte [98], , 70 % . 16—24 , .
• YouTube , 62 % . 16—24 , 58—64 %.
• Twitter [98], 5 % . 25—65 , 55—64 .
• LiveJournal , 3 % . 35—44 , .
• Medialogia — , . 500 . 100 . 52 000 900 .
• IQBuzz é um serviço de monitoramento que processa informações de mais de 10.000 fontes na mídia, como Facebook, Twitter, VKontakte, My World, Instagram, 4sq, LiveJournal, LiveInternet, Google, YouTube, RuTube e outros. O sistema é capaz de identificar automaticamente mensagens positivas e negativas, desduplicar e realizar pesquisas complexas no banco de dados acumulado.

A seguir descreverei os estudos encontrados, os resultados neles obtidos e as conclusões dos autores, que podem não coincidir com a minha posição.

1. UGC nas redes sociais

Muitas redes sociais se transformaram em ferramentas modernas de engajamento social [53]. Os dados gerados pelo usuário são uma fonte importante e acessível de opinião pública, ou pelo menos um reflexo dela, portanto, podem complementar ou substituir as pesquisas de opinião [54]. Os dados gerados pelo usuário foram examinados de acordo com três critérios:

• Atitude para diferentes tópicos.
• Índices de humor social.
• Especificidades da interação do usuário com dados que expressam sentimentos diferentes.

1.1. Atitude para diferentes tópicos

Os tópicos mais frequentes no estudo dos textos em língua russa foram os problemas das relações interétnicas e da migração, bem como a crise ucraniana. Foi dada atenção considerável à análise da tensão social, bem como a outros tópicos.

1.1.1 Grupos étnicos e migrantes

Os problemas das relações interétnicas e da migração, bem como tópicos relacionados, foram profundamente explorados usando métodos sociológicos bem desenvolvidos. No entanto, o rápido desenvolvimento da Internet e do processamento de linguagem natural permitiu a pesquisa em uma abordagem relativamente nova. A mídia social permite que indivíduos e grupos participem abertamente do conflito. Na Internet, julgamentos sobre questões de migração e etnia podem se espalhar muito mais rápido e atingir um público muito mais amplo do que antes da era da Internet [54]. Mais pesquisas acadêmicas mostraram que conteúdo online negativo contribui para conflitos étnicos offline [99] e crimes de ódio [100]. Nesse caminho,Com o desenvolvimento das tecnologias da Internet, aumenta a importância de analisar os problemas das relações interétnicas e da migração a partir de conteúdos online.



Um estudo de Bodrunova e colegas enfocou a atitude da comunidade online de língua russa em relação aos migrantes no discurso público [81]. Os autores coletaram 363.579 postagens dos principais blogueiros russos de 4 de fevereiro a 19 de maio de 2013. Aplicando a estratégia descrita em [59], [101], os pesquisadores usando Latent Dirichlet Allocation [102] identificaram discussões relevantes. Em seguida, mapeamos manualmente algumas das discussões e classes de sentimento. Em seguida, treinamos um modelo de regressão logística binomial (Regressão Logística Binomial [32]) para uma série de problemas de classificação de texto, incluindo a classificação de emoções. De acordo com os resultados, todos os migrantes foram percebidos negativamente, e principalmente aqueles que chegaram do Norte do Cáucaso em comparação com os imigrantes da Ásia Central e os americanos.Não houve atitude positiva em relação aos europeus ou americanos. Ao mesmo tempo, europeus, americanos e caucasianos eram vistos como agressores, não como vítimas. Os asiáticos centrais foram descritos como alienígenas com conotações negativas. Em geral, os europeus não eram vistos como estranhos ou parceiros, os americanos eram vistos como perigosos e os judeus eram vistos como completamente inofensivos. Os autores do estudo argumentam que a divisão mental pós-soviética da população não coincide completamente com as atuais fronteiras geográficas, devido às quais grupos anteriormente próximos já são percebidos como nações separadas com suas próprias agendas políticas. Uma das principais desvantagens deste trabalho é a falta de uma avaliação da qualidade da descrição dos dados e da especificação das métricas de classificação.Os asiáticos centrais foram descritos como alienígenas com conotações negativas. Em geral, os europeus não eram vistos como estranhos ou parceiros, os americanos eram vistos como perigosos e os judeus eram vistos como completamente inofensivos. Os autores do estudo argumentam que a divisão mental pós-soviética da população não coincide completamente com as atuais fronteiras geográficas, devido às quais grupos anteriormente próximos já são percebidos como nações separadas com suas próprias agendas políticas. Uma das principais desvantagens deste trabalho é a falta de avaliação da qualidade da descrição dos dados e especificação de métricas de classificação.Os asiáticos centrais foram descritos como alienígenas com conotações negativas. Em geral, os europeus não eram vistos como estranhos ou parceiros, os americanos eram vistos como perigosos e os judeus como totalmente inofensivos. Os autores do estudo argumentam que a divisão mental pós-soviética da população não coincide completamente com as atuais fronteiras geográficas, devido às quais grupos anteriormente próximos já são percebidos como nações separadas com suas próprias agendas políticas. Uma das principais desvantagens deste trabalho é a falta de uma avaliação da qualidade da descrição dos dados e da especificação das métricas de classificação.que a divisão mental pós-soviética da população não coincide completamente com as atuais fronteiras geográficas, devido às quais grupos anteriormente próximos já são percebidos como nações separadas com suas próprias agendas políticas. Uma das principais desvantagens deste trabalho é a falta de avaliação da qualidade da descrição dos dados e especificação de métricas de classificação.que a divisão mental pós-soviética da população não coincide completamente com as atuais fronteiras geográficas, devido às quais grupos anteriormente próximos já são percebidos como nações separadas com suas próprias agendas políticas. Uma das principais desvantagens deste trabalho é a falta de uma avaliação da qualidade da descrição dos dados e da especificação das métricas de classificação.



A equipe liderada por Koltsova [82], usando métodos adaptados de trabalhos anteriores ([103], [104]), estimou o volume total de discussões relacionadas às relações interétnicas nos sites de redes sociais de língua russa. Para criar um corpus primário de 2.660.222 textos, os autores desenvolveram uma lista complexa de etnônimos e bigramas cobrindo 97 grupos étnicos no território pós-soviético. Em seguida, usando marcação manual, um conjunto de dados de treinamento de 7.181 textos foi criado, cada um dos quais foi anotado por três especialistas em vários critérios, incluindo a presença de conflitos intergrupais, contatos intergrupos positivos e tom geral negativo ou positivo. Para classificar as emoções, os autores treinaram um modelo de regressão logística em um conjunto de dados rotulado [32] e alcançaram F ₁ = 0,75 para sentimento positivo e F₁ = 0,68 para negativo. Os autores descobriram que a atenção aos grupos étnicos varia muito entre os diferentes grupos e regiões. Com base nessa pesquisa, a equipe liderada por Koltsova melhorou a qualidade dos resultados obtidos e aumentou o número de preconceitos, que podem ser encontrados no trabalho a seguir [83]. Para começar, os autores aumentaram o conjunto de dados para processamento manual de 7.181 para 14.998 textos únicos. Em seguida, os textos foram corrigidos por pelo menos três especialistas independentes. Em seguida, os autores ensinaram um modelo de regressão logística para dividir os textos em três categorias (atitude positiva, neutra e negativa) usando os melhores hiperparâmetros retirados do estudo anterior. Isso ajudou a melhorar significativamente as métricas de classificação. Os valores médios de sentimento foram: P = 0,67, R = 0,55 e F ₁= 0,58.



Nagorny em seu trabalho [84] investigou o tema da estrutura das discussões étnicas nas redes sociais de língua russa. Com base em uma lista de mais de 4000 palavras relacionadas a discussões étnicas, o autor coletou 2 659 849 textos do VKontakte e do IQBuzz para o período de janeiro de 2014 a dezembro de 2016. Em seguida, o autor utilizou o ISLDA [26], uma modificação do algoritmo LDA desenvolvido no HSE Internet Research Laboratory. Para calcular a classe de sentimento, Nagorny usou SentiStrength [22] com o dicionário de emoções do idioma russo LINIS Crowd [26]. Para cada tema, o índice de polaridade foi calculado como a soma dos produtos da probabilidade desse tema no texto pelo valor da emoção correspondente, dividido pela importância geral do tema. Depois de analisar o perfil temático das discussões étnicas obtidas com a ajuda da LDA, Nagorny identificou os tópicos mais negativos e importantes. Revelou,que a maior parte das discussões se referia às relações russo-ucranianas em conexão com o recente conflito entre os países. Como resultado, foi difícil separar os tópicos interétnicos dos políticos, pois o conflito influenciou a polaridade das discussões na Internet. As discussões mais negativas estão relacionadas com a nacionalidade uzbeque e as relações turco-armênias no contexto do genocídio armênio. No entanto, este estudo tem desvantagens. Em primeiro lugar, não está claro exatamente como os dados foram coletados. Embora o IQBuzz afirme rastrear todas as menções na Internet, é impossível verificar isso sem acesso total às mensagens VK. Em segundo lugar, as métricas de classificação não foram medidas em grandes conjuntos de textos, por isso é difícil testar a qualidade das emoções classificadas.Como resultado, foi difícil separar os tópicos interétnicos dos políticos, pois o conflito influenciou a polaridade das discussões na Internet. As discussões mais negativas estão relacionadas com a nacionalidade uzbeque e as relações turco-armênias no contexto do genocídio armênio. No entanto, este estudo tem desvantagens. Em primeiro lugar, não está claro exatamente como os dados foram coletados. Embora o IQBuzz afirme rastrear todas as menções na Internet, é impossível verificar isso sem acesso total às mensagens VK. Em segundo lugar, as métricas de classificação não foram medidas em grandes conjuntos de textos, por isso é difícil testar a qualidade das emoções classificadas.Como resultado, foi difícil separar os tópicos interétnicos dos políticos, pois o conflito influenciou a polaridade das discussões na Internet. As discussões mais negativas estão relacionadas com a nacionalidade uzbeque e as relações turco-armênias no contexto do genocídio armênio. No entanto, este estudo tem desvantagens. Em primeiro lugar, não está claro exatamente como os dados foram coletados. Embora o IQBuzz afirme rastrear todas as menções na Internet, é impossível verificar isso sem acesso total às mensagens VK. Em segundo lugar, as métricas de classificação não foram medidas em grandes conjuntos de textos, por isso é difícil testar a qualidade das emoções classificadas.As discussões mais negativas estão relacionadas à nacionalidade uzbeque e às relações turco-armênias no contexto do genocídio armênio. No entanto, este estudo tem desvantagens. Em primeiro lugar, não está claro exatamente como os dados foram coletados. Embora o IQBuzz afirme rastrear todas as menções na Internet, é impossível verificar isso sem acesso total às mensagens VK. Em segundo lugar, as métricas de classificação não foram medidas em grandes conjuntos de textos, por isso é difícil testar a qualidade das emoções classificadas.As discussões mais negativas estão relacionadas à nacionalidade uzbeque e às relações turco-armênias no contexto do genocídio armênio. No entanto, este estudo tem desvantagens. Em primeiro lugar, não está claro exatamente como os dados foram coletados. Embora o IQBuzz afirme rastrear todas as menções na Internet, é impossível verificar isso sem acesso total às mensagens VK. Em segundo lugar, as métricas de classificação não foram medidas em grandes conjuntos de textos, por isso é difícil testar a qualidade das emoções classificadas.portanto, é difícil testar a qualidade das emoções classificadas.portanto, é difícil testar a qualidade das emoções classificadas.



Os pesquisadores Borodkina e Sibirev da Universidade de São Petersburgo examinaram discussões no Twitter em língua russa relacionadas aos problemas de migração internacional, bem como a vários problemas associados à migração [55]. Os autores usaram 13.200 postagens publicadas entre novembro de 2017 e fevereiro de 2018. Esses dados foram coletados no tópico "migração" e palavras-chave relacionadas. Em seguida, os autores, usando o coeficiente de Ohai, mediram a similaridade das tags e, usando o princípio de Pareto, removeram links fracos e insignificantes do gráfico da rede. Para a análise de sentimento, um classificador foi treinado com base em um modelo de vetor de suporte [33]. E para determinar as ligações entre as características (por exemplo, emoções, características de conteúdo), foram usados ​​métodos de análise apropriados. Descobriu-se que, entre os russos que vivem em diferentes países, existe uma atitude muito semelhante em relação aos migrantes.Uma proporção significativa de usuários expressa uma atitude negativa em relação aos migrantes de outras nacionalidades. Principais tópicos discutidos: riscos à cultura e segurança associados ao terrorismo e migração ilegal, direitos humanos em geral, violação dos direitos dos imigrantes na Rússia nas esferas social e econômica. Este estudo tem várias pequenas desvantagens. A abordagem da análise de sentimento é descrita resumidamente, sem os detalhes do estágio de pré-processamento, dos hiperparâmetros do modelo e da qualidade final da classificação usando o modelo treinado. Além disso, a API principal do Twitter fornece acesso apenas parcial a todas as postagens, de modo que a representatividade dos dados analisados ​​é questionável.relacionadas com o terrorismo e a migração ilegal, direitos humanos em geral, violação dos direitos dos imigrantes na Rússia nas esferas social e económica. Este estudo tem várias pequenas desvantagens. A abordagem da análise de sentimento é descrita brevemente, sem os detalhes do estágio de pré-processamento, dos hiperparâmetros do modelo e da qualidade final da classificação do modelo treinado. Além disso, a API principal do Twitter fornece acesso apenas parcial a todas as postagens, de modo que a representatividade dos dados analisados ​​é questionável.relacionadas com o terrorismo e a migração ilegal, direitos humanos em geral, violação dos direitos dos imigrantes na Rússia nas esferas social e económica. Este estudo tem várias pequenas desvantagens. A abordagem da análise de sentimento é descrita resumidamente, sem os detalhes do estágio de pré-processamento, dos hiperparâmetros do modelo e da qualidade final da classificação usando o modelo treinado. Além disso, a API principal do Twitter fornece acesso apenas parcial a todas as postagens, de modo que a representatividade dos dados analisados ​​é questionável.hiperparâmetros do modelo e a qualidade final da classificação usando o modelo treinado. Além disso, a API principal do Twitter fornece acesso apenas parcial a todas as postagens, de modo que a representatividade dos dados analisados ​​é questionável.hiperparâmetros do modelo e a qualidade final da classificação usando o modelo treinado. Além disso, a API principal do Twitter fornece acesso apenas parcial a todas as postagens, de modo que a representatividade dos dados analisados ​​é questionável.



Assim, no contexto do estudo da migração e das relações interétnicas, os pesquisadores têm estudado principalmente dados gerados por usuários a partir de redes sociais, usando uma combinação de modelagem temática e análise de sentimento. O conceito de etnia é bem pesquisado na literatura acadêmica, mas do ponto de vista da lingüística computacional, a definição de nacionalidade em textos gerados por usuários é reduzida à tarefa de identificar marcadores étnicos usados ​​pelos autores desses textos [54]. Portanto, a fim de identificar textos relevantes, os pesquisadores costumam criar listas de marcadores de status étnico e procurar textos que contenham tais marcadores. No entanto, extrair dados representativos é difícil porque nem todas as plataformas fornecem acesso total a todas as suas informações.Os sentimentos são geralmente analisados ​​no nível do documento ou aspecto. Como a linguagem negativa pode conter informações de identificação pessoal, bem como discurso ofensivo ou de ódio, tal conteúdo pode ser censurado de acordo com as diretrizes de mídia social e requisitos legais. O Código Penal da Federação Russa possui uma estrutura regulatória que regula as chamadas públicas para uma ação radical, o que deve afetar o volume de fortes declarações negativas em discussões online e offline. Todos esses recursos precisam ser descritos explicitamente na seção sobre restrições.tais dados podem ser censurados de acordo com as regras de mídia social e requisitos legais. O Código Penal da Federação Russa possui uma estrutura regulatória que regula as chamadas públicas para uma ação radical, o que deve afetar o volume de fortes declarações negativas em discussões online e offline. Todos esses recursos precisam ser descritos explicitamente na seção sobre restrições.tais dados podem ser censurados de acordo com as regras de mídia social e requisitos legais. O Código Penal da Federação Russa possui uma estrutura regulatória que regula as chamadas públicas para uma ação radical, o que deve afetar o volume de fortes declarações negativas em discussões online e offline. Todos esses recursos precisam ser descritos explicitamente na seção sobre restrições.

1.1.2. Crise ucraniana

As relações entre a Rússia e a Ucrânia tornaram-se tensas após a revolução de 2014, a subsequente entrada da Crimeia na Federação Russa e o conflito armado nas regiões de Donetsk e Luhansk. Como muitas plataformas de mídia social evoluíram para ferramentas modernas de engajamento social [53], uma série de estudos em linguística computacional foram conduzidos, os autores dos quais tentaram explorar a possibilidade de usar o discurso online para analisar as opiniões e características dos participantes do discurso. De acordo com o censo de 2001 da população da Ucrânia, 67,5% dos residentes consideram o ucraniano como língua nativa e 29,6% - o russo. Portanto, além de, ou em vez de, ucraniano, os pesquisadores geralmente analisavam textos em russo.



Um grupo de pesquisadores liderado por Duvanova estudou o impacto do conflito armado ucraniano nos laços sociais online entre todas as regiões ucranianas [85]. Os autores usaram o VKontakte como fonte, por ser a rede social mais popular na Ucrânia. Primeiro, com base em palavras-chave, eles identificaram uma lista de comunidades relevantes - 14.777. Em seguida, com base nessa lista, 19.430.445 publicações e 62.193.711 comentários foram coletados usando o software de monitoramento de redes sociais apresentado no trabalho de Semyonov e Vejyalainen [105], bem como de Semyonov e co-autores [106]. Para classificar os textos em positivos e negativos, os autores aplicaram uma abordagem baseada em regras com um dicionário de 8.863 palavras positivas e 24.299 palavras negativas em russo e ucraniano. Descobriu-se que as discussões na Ucrânia se tornaram mais polarizadas devido a ações militares, por exemplo,nas regiões orientais do país, o número de afirmações negativas e positivas aumentou. No entanto, em outras partes da Ucrânia, as hostilidades não tiveram um efeito perceptível na intensidade da expressão das emoções. Assim, as hostilidades geraram uma forte reação emocional no país, mas não houve um aumento inevitável da coesão social nas comunicações internas entre as regiões. No entanto, os autores não forneceram detalhes sobre o pré-processamento e treinamento do modelo, ou as métricas de classificação.mas não houve um aumento inevitável da coesão social nas comunicações internas entre as regiões. No entanto, os autores não forneceram detalhes sobre o pré-processamento e treinamento do modelo, ou as métricas de classificação.mas não houve um aumento inevitável da coesão social nas comunicações internas entre as regiões. No entanto, os autores não forneceram detalhes sobre o pré-processamento e treinamento do modelo, ou as métricas de classificação.



O trabalho da equipe liderada por Volkova [86] estudou as expressões da opinião pública em VKontakte durante a crise russo-ucraniana. Com base na lista de palavras-chave, os autores coletaram do VKontakte um conjunto de 5.970.247 publicações que apareceram no período de setembro de 2014 a março de 2015. Para a previsão proposital de opiniões, os pesquisadores usaram o sistema de classificação POLYARNIK [107] com base em regras morfológicas e sintáticas, vocabulário emocional e modelos de aprendizagem supervisionada [108]. Para classificar as emoções, os autores compilaram um conjunto de discussões independentes no Twitter relacionadas à crise. Usando as abordagens descritas nos artigos [109] e [110], os autores implementaram marcação de texto automática com base em seis emoções básicas de Ekman [111].Eles então verificaram manualmente a anotação automática com falantes nativos de russo e ucraniano. O resultado foi um conjunto de 5.717 postagens no Twitter expressando raiva, prazer, medo, tristeza, repulsa e surpresa, além de 3.947 postagens não emotivas. A classificação final das emoções expressas nos textos foi realizada em duas etapas. A princípio, os textos foram classificados em emocionais e não emocionais. Em seguida, usando o modelo de regressão logística [32], os textos emocionais foram divididos em seis classes baseadas em estilística, vocabulário e unigramas binários. Ponderado Ffoi realizado em duas etapas. No início, os textos foram classificados em emocionais e não emocionais. Em seguida, usando o modelo de regressão logística [32], os textos emocionais foram divididos em seis classes baseadas em estilística, vocabulário e unigramas binários. Ponderado Ffoi realizado em duas etapas. No início, os textos foram classificados em emocionais e não emocionais. Em seguida, usando o modelo de regressão logística [32], os textos emocionais foram divididos em seis classes baseadas em estilística, vocabulário e unigramas binários. Ponderado F₁-medida do modelo de classificação emocional atingiu 58%. De acordo com os resultados obtidos, a percentagem de opiniões positivas em relação à Euromaidan foi maior na Ucrânia do que na Rússia. Para efeito de comparação, a proporção de declarações positivas sobre Putin e a Crimeia foi maior na Rússia do que na Ucrânia. Além disso, alguns dos resultados contradizem os equívocos comuns da mídia. Por exemplo, na Rússia havia publicações cujos autores falavam positivamente a favor dos Estados Unidos e contra Putin, enquanto na Ucrânia havia publicações que expressavam apoio a Putin, não ao Euromaidan. A principal desvantagem do estudo é que os autores usaram o POLYARNIK para analisar o sentimento sem avaliar a qualidade da classificação dos textos sobre o tema escolhido. Além disso, os autores aplicaram um modelo treinado em mensagens do Twitter para reconhecer emoções em mensagens de VKontakte,que tenham características linguísticas diferentes, pelo menos a extensão média do texto. Além disso, muitas questões surgem sobre a qualidade da anotação por um único avaliador, uma vez que é impossível medir a métrica de um acordo entre especialistas.



Tomando como base o conflito russo-ucraniano de 2014, Rumshisky e coautores analisaram a dinâmica da reflexão do conflito político nas redes sociais [87]. Ao contrário do estudo de Volkova [86], os pesquisadores não confiaram em dados barulhentos sobre a localização dos autores ao criar o corpus de textos para análise. Em vez disso, eles se concentraram na autoidentificação de grupos de usuários associados à crise. Depois de analisar os dados do VKontakte, os pesquisadores selecionaram manualmente 51 grupos anti-Maid com 1.942.918 usuários únicos e 47 grupos promovidos com 2.445.661 usuários. Em seguida, selecionamos todas as publicações nas paredes desses grupos, adicionamos publicações nas paredes dos usuários ativos e daqueles que gostaram dessas publicações. Apenas essas publicações foram adicionadas à coleçãoem que pelo menos uma palavra-chave de uma lista predefinida foi encontrada. Para prever o sentimento de textos em língua russa, os pesquisadores usaram uma versão aprimorada da biblioteca SentiMental, que é um sistema de análise de sentimento baseado em dicionário. Os resultados da pesquisa confirmaram que o aumento da intensidade do conflito é acompanhado por declarações negativas. A análise investigou a relação entre o sentimento dominante e a medida de controvérsia do passeio aleatório. À medida que o número de disputas aumenta, também aumenta o desvio padrão do sentimento geral expresso pelos grupos opostos, bem como a medida da divagação aleatória da discussão. A principal desvantagem do estudo é que seus autores não forneceram detalhes sobre o pré-processamento e o treinamento.Para prever o sentimento dos textos em russo, os pesquisadores usaram uma versão aprimorada da biblioteca SentiMental, que é um sistema de análise de sentimento baseado em dicionário. Os resultados da pesquisa confirmaram que o aumento da intensidade do conflito é acompanhado por declarações negativas. A análise examinou a relação entre o sentimento dominante e a medida da controvérsia do passeio aleatório. À medida que o número de disputas aumenta, também aumenta o desvio padrão do sentimento geral expresso pelos grupos opostos, bem como a medida da divagação aleatória da discussão. A principal desvantagem do estudo é que seus autores não forneceram detalhes sobre o pré-processamento e o treinamento.Para prever o sentimento de textos em língua russa, os pesquisadores usaram uma versão aprimorada da biblioteca SentiMental, que é um sistema de análise de sentimento baseado em dicionário. Os resultados da pesquisa confirmaram que o aumento da intensidade do conflito é acompanhado por declarações negativas. A análise examinou a relação entre o sentimento dominante e a medida da controvérsia do passeio aleatório. À medida que o número de disputas aumenta, também aumenta o desvio padrão do sentimento geral expresso pelos grupos opostos, bem como a medida da divagação aleatória da discussão. A principal desvantagem do estudo é que seus autores não forneceram detalhes sobre o pré-processamento e o treinamento.



Zaeziev sugeriu estudar o processo de mobilização política por meio da análise do conteúdo das redes sociais [88]. A revolução ucraniana de 2013-2014 foi tomada como base. O autor se concentrou na primeira fase dos protestos, de 21 de fevereiro de 2013 a 22 de fevereiro de 2014. Ele analisou publicações nas redes sociais mais populares da Ucrânia: VKontakte e Facebook. Zaeziev identificou um conjunto de palavras-chave relevantes com base nas recomendações gerais de Godbowl [112] e, em seguida, coletou mais de 124.000 mensagens usando o IQBuzz. Usando os algoritmos de reconhecimento de sentimento do IQBuzz, o pesquisador classificou os textos em categorias: negativo, neutro, positivo e misto. Assumindo que os apoiadores da Euromaidan expressariam uma atitude positiva em relação a este evento, os autores retiraram todas as mensagens não positivas da coleção.Em seguida, filtramos a coleção por uma lista predefinida de palavras-chave, deixando 4255 postagens. A análise desses dados revelou que, na primeira noite de protestos, as redes sociais foram utilizadas principalmente como uma ferramenta de mobilização política e, posteriormente, como uma ferramenta de cobertura da mídia. A principal desvantagem do estudo é que ele não descreve métricas de classificação de sentimento, por isso é difícil verificar a precisão dos resultados.



O pesquisador Tokarev do Instituto Estatal de Relações Internacionais de Moscou estudou o discurso dos principais blogueiros ucranianos sobre o território e a população de Donbass no período de 2009 a 2018 [56]. O autor analisou a semântica, frequência e emocionalidade das discussões no segmento ucraniano do Facebook. A pesquisa consistiu em várias etapas. Primeiramente, os formadores de opinião foram identificados e suas publicações baixadas de 1º de janeiro de 2009 a 15 de fevereiro de 2018. Em seguida, a partir de palavras-chave pré-determinadas no discurso, os autores identificaram publicações dedicadas ao Donbass. Na etapa seguinte, foi criado um dicionário de emoções, que posteriormente foi utilizado para diferenciar as discussões de acordo com o grau de sua emocionalidade. Com a ajuda de voluntários, foi coletado um vocabulário de 566 palavras marcadoras do território e da população.Cada palavra foi apresentada em russo e ucraniano. Uma equipe de 69 avaliadores anotou o vocabulário em cinco graus: positivo, neutro-positivo, neutro, neutro-negativo e negativo. Por fim, avaliou-se o grau de expressão das emoções e a dinâmica das discussões. Um corpus de 1.069.687 publicações de 376 blogueiros importantes em sete idiomas foi analisado. Descobriu-se que o início das discussões sobre o território e a população do Donbass começou na virada de 2013-2014. Antes disso, a frequência de menção a essa área era quase zero. Foi expressa uma atitude negativa significativa em relação à população e praticamente não houve uma discussão negativa sobre o território. Um tom neutro prevaleceu. O número de discussões positivas e negativas do território foi muito menor em comparação com as discussões da população.Isso nos permite concluir que existe um alto grau de incerteza entre os principais blogueiros quanto ao território, bem como a baixa probabilidade de o discurso passar do tom neutro para o positivo. As desvantagens deste estudo são as mesmas do trabalho de Zaeziev [88], não há descrição das métricas de classificação.



Assim, durante o estudo da crise ucraniana, os pesquisadores usaram informações não só sobre o sentimento, mas também sobre a localização dos autores das publicações para estudar a vinculação territorial dos usuários. Para determinar os textos relevantes, uma lista de palavras marcadoras de conflito foi coletada e textos contendo esses marcadores foram pesquisados. Ao analisar grupos étnicos ou problemas associados à migração, é difícil extrair dados representativos e descrever exaustivamente as restrições que os acompanham.

1.1.3. Tensão social

Os processos observados na sociedade russa moderna criam a necessidade de colocar os conflitos sociais em uma estrutura específica [113]. Dada a ampla utilização das mídias sociais com benefícios e riscos para a sociedade civil, [114] a análise do conteúdo online deve receber a devida e apropriada atenção, inclusive para identificar tensões sociais. Você pode medir tensões sociais online usando índices e métricas e, em seguida, usar essas informações para rastrear explosões de tensão, que é uma forma de governança antecipatória [115].



A equipe liderada por Donchenko analisou os comentários sobre o VKontakte sobre temas socialmente sensíveis para o período de janeiro a junho de 2017 [89]. Os pesquisadores compilaram uma lista de tópicos populares relacionados a questões de tensão social e coletaram publicações de usuários relevantes sobre ela por meio da API VKontakte. Em seguida, os textos foram pré-processados: a raiz das palavras (stemming) foi selecionada, a pontuação foi removida, abreviações padrão e gírias foram substituídas pelas palavras normais correspondentes. Para categorização por tópico, os autores treinaram um modelo de vetor de suporte (SVM) [33] com vetorização TF-IDF [116]. Tópicos sociais em alta: desemprego, corrupção e aumento dos preços de bens de consumo. Além disso, usando o modelo SVM, a polaridade da tonalidade foi classificada. Descobriu-se que o clima de protesto geralmente se concentra nos centros de regiões densamente povoadas.Uma das principais desvantagens do trabalho é a falta de uma avaliação da qualidade da anotação de dados e a ausência de uma especificação de métricas de classificação de sentimento. Koltsova e Nagorny descobriram quais tópicos são classificados como problemas sociais, analisando os comentários de leitores da mídia regional russa [57]. Os autores coletaram um conjunto de 33.887 notícias e 258.107 comentários de sites de mídia Omsk (Gorod55, BK55, NGS Omsk e Omsk-Inform) para o período de setembro de 2013 a setembro de 2014. Para determinar os tópicos aos quais os textos de notícias pertencem, os autores usaram Gensim- implementação [117] do algoritmo de alocação latente de Dirichlet [102] com uma métrica desenvolvida por Arun, Suresh, Madhavan e Murthy [118]. Para classificar o sentimento dos comentários, os autores usaram SentiStrength [22] com o vocabulário PolSentiLex. Koltsova e Nagorny descobriram que tais tópicos,como o entretenimento, a cultura, os esportes e as férias costumam evocar emoções positivas, e a maioria das emoções negativas estão associadas a crimes e desastres. Os pesquisadores calcularam um índice de importância e polaridade para cada tópico. Um problema fundamental com o uso do SentiStrength neste estudo é que os autores não descreveram as métricas de classificação dos dados para o tema selecionado, sendo difícil verificar a precisão dos resultados.



Assim, os autores usaram duas abordagens para identificar tópicos sociais agudos. No primeiro caso, os dados são filtrados com base em uma lista de palavras-chave e, no segundo, é aplicado o agrupamento não supervisionado de todos os dados, seguido pela identificação de tópicos sociais agudos. Ao usar dados de redes sociais, os autores enfrentaram as mesmas dificuldades para extrair dados representativos. No entanto, isso não é relevante na análise de dados de sites de notícias, pois geralmente não há restrições de acesso às informações publicadas. Uma vez que o discurso sobre temas delicados pode vir acompanhado de declarações duras, estas últimas podem ser censuradas de acordo com acordos de usuários e legislação.

1.1.4. Outros tópicos

Vários estudos enfocaram tópicos de outras áreas. A pesquisadora Ruleva estudou a reação dos usuários de língua russa do Twitter e do YouTube a uma explosão de meteoro em Chelyabinsk em fevereiro de 2013 [58]. Nos últimos 100 anos, foi o maior corpo celeste a entrar na atmosfera da Terra. Como esperado, o evento gerou um debate emocional na mídia tradicional e nas plataformas online. O pesquisador coletou 495 postagens no Twitter de 15 a 20 de fevereiro de 2013 usando a hashtag “meteorito”, além de um número não especificado de vídeos no YouTube. A ênfase foi colocada em uma análise comparativa do conteúdo de ambos os sites no contexto das diferenças entre os gêneros falados primários e secundários [119]. No entanto, as letras também deram uma certa interpretação de sentimentos e emoções.



Ruleva descobriu que o conteúdo do YouTube fornece dados mais úteis para a pesquisa de sentimento do que o Twitter. O autor contou com a análise de gênero e uma mistura de análise linguística e semiótica. Ou seja, ela analisou o próprio texto e como ele é apresentado. O autor acredita que os usuários do YouTube e do Twitter costumam pertencer a grupos sociais diferentes, portanto, podem ter padrões diferentes de expressão de emoções. Embora o estudo como um todo esteja indiretamente relacionado aos aspectos emocionais do texto, Ruleva foi uma das primeiras a investigar as diferenças entre os diferentes tipos de informação em língua russa. No entanto, não há uma descrição detalhada do método de comparação de sentimento e procedimento de coleta de dados no YouTube. Para buscar dados no Twitter, foi aplicada uma filtragem básica, que ignorou grande parte das mensagens,que faltou a hashtag "meteorito". Além disso, sem usar a API de histórico, a ferramenta de busca do Twitter dá acesso apenas parcial a todas as mensagens publicamente disponíveis.



Kirilenko e Stepchenkova realizaram um estudo comparativo do discurso do Twitter em russo e inglês sobre as Olimpíadas de 2014 em Sochi [90]. Mais de 400.000 mensagens foram coletadas por meio da API do Twitter ao longo de um período de seis meses durante os Jogos Olímpicos [120] e, em seguida, submetidas a análise de agrupamento e sentimento para a competição. Os autores avaliaram as abordagens de Deeply Moving [121], Pattern e SentiStrength [22] em um conjunto rotulado à mão de 600 postagens em inglês e 3.000 em russo no Twitter. Apesar do aumento na expressão de atitudes positivas em relação às Olimpíadas durante o jogo, essa melhora foi significativa apenas para as mensagens dos russos. No entanto, os autores não forneceram métricas de classificação para os modelos avaliados, nem descreveram a etapa de pré-processamento.



A equipe liderada por Spicer estudou a onda de protestos em massa em conexão com as eleições para a Duma e para a presidência da Federação Russa no período 2011-2012 [91]. Os pesquisadores analisaram mensagens relevantes do Twitter em russo de 17 de março de 2011 a 12 de março de 2012, coletadas por meio da API de streaming do Twitter. Os dados foram selecionados de acordo com uma lista de palavras-chave. 690.297 mensagens em russo relacionadas à política foram coletadas. Para identificar partidários e oponentes de Putin, os autores usaram uma combinação de lista de palavras-chave e SentiStrength [22], e então classificaram os 1.000 principais usuários por sua pontuação média de sentimento e afiliação partidária. Ao comparar as anotações manuais de 100 usuários em ambos os lados com a classificação automática, os pesquisadores descobriram que cerca de 70% dos participantes foram classificados corretamente.Finalmente, os autores aplicaram um método de pesquisa qualitativa [122] e codificaram manualmente os n-gramas extraídos da chave. Uma das principais conclusões é que o discurso no Twitter foi inicialmente fortemente apoiado pela oposição e, posteriormente, a mobilização da oposição diminuiu significativamente e o apoio a Putin aumentou. No entanto, este estudo tem várias desvantagens. Primeiro, a representatividade dos dados de amostra não é clara, porque a API de streaming do Twitter fornece acesso apenas parcial a todas as publicações. Em segundo lugar, as métricas de classificação não foram medidas na coleção de texto de destino, por isso é difícil verificar a qualidade da classificação de sentimento.e mais tarde, a mobilização da oposição diminuiu significativamente e o apoio a Putin aumentou. No entanto, este estudo tem várias desvantagens. Primeiro, a representatividade dos dados de amostra não é clara, porque a API de streaming do Twitter fornece acesso apenas parcial a todas as publicações. Em segundo lugar, as métricas de classificação não foram medidas na coleção de texto de destino, por isso é difícil verificar a qualidade da classificação de sentimento.e mais tarde, a mobilização da oposição diminuiu significativamente e o apoio a Putin aumentou. No entanto, este estudo tem várias desvantagens. Primeiro, a representatividade dos dados de amostra não é clara, porque a API de streaming do Twitter fornece acesso apenas parcial a todas as publicações. Em segundo lugar, as métricas de classificação não foram medidas na coleção de texto de destino, por isso é difícil verificar a qualidade da classificação de sentimento.



Nenko e Petrova conduziram uma análise comparativa da distribuição de emoções em São Petersburgo com base em comentários de usuários sobre objetos urbanos no Google Places e dados do sistema GIS aberto Imprecity [92]. O conjunto de dados continha 1.800 marcadores emocionais do Imprecity e 2.450 comentários referenciados por locais do Google Places. Dois avaliadores marcaram os comentários em seis emoções e os processaram usando um classificador bayesiano ingênuo [123]. Com base na análise de sentimento e em um conjunto de dados do Imprecity, os autores criaram um mapa de calor de emoções negativas e positivas em São Petersburgo. A tendência geral é a concentração de emoções positivas e negativas no centro histórico, no sul da cidade, no extremo oeste da Ilha Vasilievsky e no centro da Ilha Petrogradsky.No entanto, os autores não descreveram a metodologia de pré-processamento e as métricas de classificação.



Assim, ao estudar atitudes em relação a diferentes eventos ou lugares, os pesquisadores enfrentaram as mesmas dificuldades em encontrar dados representativos e descrever exaustivamente as restrições. Além disso, a principal desvantagem da maioria dos estudos foi a falta de avaliação do modelo de análise de sentimento em textos sobre temas selecionados, dificultando a verificação da qualidade da classificação.

1.2. Índice de sentimento social

Ao medir o nível de felicidade e satisfação com a vida, por exemplo, usando o Índice de Bem-Estar Subjetivo (SWB) [124], as abordagens psicológicas modernas baseiam-se em escalas de autoavaliação. Essas abordagens têm desvantagens. Por exemplo, o número limitado de entrevistas, o alto custo de entrevistar os entrevistados e a confiança na memória dos participantes torna difícil apresentar o status dos entrevistados em tempo real [125] - [127]. Alternativamente, os pesquisadores tentaram medir vários índices de sentimento social usando a análise de sentimento, porque uma ampla gama de opiniões é expressa em dados gerados por usuários nas mídias sociais [2], [127] - [133].



Em seu trabalho [93], Panchenko calculou o índice de sentimento no Facebook em russo como o nível médio de emoções em uma série de textos. Analisamos 573 milhões de publicações e comentários anônimos para o período de 5 de agosto de 2006 a 13 de novembro de 2013, fornecidos para pesquisa pela Digsolab LLC. Os autores filtraram todo o conjunto de textos em russo usando o módulo langid.py [134]. O índice de sentimento social foi calculado usando uma abordagem baseada em dicionário [135], [136], semelhante à de Dodd [129]. O autor desenvolveu seu próprio dicionário de emoções a partir de 1511 termos, marcado por dois especialistas em classes positivas e negativas. Para avaliar a qualidade da classificação, Panchenko aplicou a abordagem de vocabulário ao conjunto de dados ROMIP 2012 [15]. O autor afirma que em um conjunto de críticas de filmes atingiu o valor da macro média F ₁-ponto de até 0,383 e precisão de até 0,465. Para medir o sentimento, o autor propôs quatro índices: o Word Sentiment Index, o Word Emotion Index, o Text Sentiment Index e o Text Emotion Index. Os dois primeiros operam com a chave das palavras, e os dois segundos - com a chave do texto. De acordo com a análise, o conteúdo positivo prevalece sobre o conteúdo negativo. Os valores máximos dos índices coincidem com feriados e os valores mínimos - com dias memoráveis ​​e tragédias nacionais. Em geral, os usuários expressam sentimentos positivos 3,8 vezes mais do que os negativos. As pessoas usam menos palavras emocionais nas postagens e mais nos comentários. A limitação mais importante é queque o autor verificou a qualidade da classificação nas resenhas de filmes e a aplicou a textos gerais, o que torna difícil verificar a precisão do resultado. Além disso, o processo interno de coleta de dados do Digsolab não é descrito e, portanto, questões sobre representatividade são levantadas.



A equipe liderada por Shchekotin propôs um novo método de avaliação subjetiva de bem-estar, que é baseado em dados do VKontakte sobre a atividade do usuário [68]. Tomando como base o modelo de indicadores de qualidade de vida desenvolvido por Gavrilova [137], os autores escolheram alguns dos indicadores para monitoramento em seu estudo. Enfocando a representatividade geográfica e socioeconômica, eles selecionaram 43 regiões russas de 85. Em seguida, nas regiões selecionadas, eles identificaram as três maiores cidades e selecionaram 10 comunidades VKontakte cada, unindo os residentes dessas cidades - comunidades urbanas. Em seguida, usando uma coleção de dados de redes sociais e uma plataforma analítica do Consórcio Universitário de Pesquisadores de Big Data, desenvolvido na Tomsk State University,os autores extraíram as informações publicadas por essas comunidades para o período de 1º de janeiro a 31 de dezembro de 2018. Em seguida, retiraram dados irrelevantes - publicações publicitárias e textos não relacionados ao tema da pesquisa (vagas, esportes, eventos culturais). A filtragem dos dados irrelevantes foi realizada em duas etapas: análise manual de 60.000 mensagens e limpeza automática, na qual o algoritmo foi treinado em mensagens limpas manualmente. Depois disso, restaram cerca de 1.700.000 publicações. Durante o expurgo, as publicações foram anotadas manualmente em 19 tópicos e três classes de sentimento (positivo, negativo e neutro). No decorrer do pré-processamento, palavras raras e símbolos que não pertencem aos alfabetos russo e latino foram removidos e todas as outras palavras foram reduzidas às suas bases (radical). Em seguida, vários algoritmos de aprendizado de máquina foram treinados.A melhor qualidade de classificação foi mostrada pelo algoritmo de aumento de gradiente do LightGBM [138] - até 68% para classificação de categoria e 79% para classificação de sentimento. Para calcular o índice de bem-estar subjetivo [124], [139] para cada região, os autores propuseram um método baseado em indicadores de atividade online. Os resultados do estudo mostraram que, nas regiões selecionadas, os temas do desenvolvimento da infraestrutura regional são discutidos de forma mais ativa e positiva. A atividade menos positiva está associada a uma avaliação do estado emocional geral e da liberdade da mídia. O mais discutido de forma negativa é o tema segurança, ou seja, uma avaliação das ações das forças de segurança e de outras organizações do Estado relacionadas com a garantia da segurança na região.Os indicadores negativos mais baixos da atividade online também são característicos do estado emocional geral e da liberdade da mídia. Além disso, os autores compilaram uma lista exaustiva de limitações, incluindo a representatividade das amostras de dados, a audiência das redes sociais analisadas e o impacto potencial dos bots.



No entanto, ao preparar o conjunto de dados de treinamento, os autores não descreveram a distribuição das classes de sentimento. Se os conjuntos de dados não foram balanceados, recomenda-se que a qualidade da classificação seja medida usando métricas mais complexas, como precisão, resposta do modelo (recuperação) e medida F.

1.3. Comportamento do usuário

O conteúdo da mídia social pode ser uma fonte valiosa de informação não apenas sobre atitudes em relação a diferentes tópicos, mas também sobre os padrões de comportamento dos usuários ao interagir com esse conteúdo.



Svetlov e Platonov identificaram a influência da tonalidade no recebimento de feedback do público [69]. A fonte de dados foi 46.293 publicações e 2.197.063 comentários dos relatos mais populares de políticos russos no VKontakte para o período de janeiro de 2017 a abril de 2019. Os pesquisadores treinaram BiGRU [140] nos conjuntos de dados RuTweetCorp [141] e RuSentiment [142], recebendo em média macro F ₁ = 0,91 e F _{1 respectivamente}= 0,77. Com base nos resultados da análise de sentimento, os autores identificaram vários padrões de resposta. As postagens foram classificadas como positivas se tivessem mais visualizações e curtidas dos usuários. Postagens com grande número de repostagens e comentários foram classificadas como negativas. No entanto, o uso de dados de treinamento de uma área e a aplicação de modelos treinados sobre eles em outra área levanta muitas questões. RuTweetCorp é uma coleção de postagens curtas do Twitter e RuSentiment é uma coleção de tópicos gerais do VKontakte, com o estudo em discussão focado na política. Uma boa saída nessa situação seria anotar manualmente um pequeno conjunto de textos no tópico de destino e testar o modelo treinado nele.

2. Feedback sobre produtos e serviços

Na era da Internet, as análises de produtos e serviços se tornaram uma ferramenta poderosa para expressar validação social que incentiva as pessoas a comprar em diferentes lojas online [143]. Os depoimentos podem ser uma fonte valiosa de informações não apenas para compradores e vendedores, mas também para pesquisadores. Neste capítulo, as fontes da literatura são divididas de acordo com os tópicos analisados: características dos compradores, características dos produtos e serviços, características dos comerciantes.

2.1. Características dos revisores

Um grupo de pesquisa da Universidade de São Petersburgo analisou os temas e o tom das análises de 989 empresas que operam em 12 indústrias russas de conhecimento intensivo [70]. Os pesquisadores consideraram o Otrude, um dos maiores portais russos com avaliações de empregadores, como a principal fonte de dados. Depois de filtrar e remover dados desnecessários, obtivemos um conjunto de 6.145 avaliações. O pré-processamento ocorreu em várias etapas: lematização usando MyStem, remoção de pontuação e palavras de interrupção. Os autores classificaram automaticamente os textos em duas categorias com base na classificação das resenhas: aqueles que receberam pelo menos três estrelas foram considerados positivos, os demais foram considerados negativos. Os pesquisadores então analisaram o sentimento usando o posicionamento latente de Dirichlet [102] - ou modelagem de tópicos - e um modelo de classificação não especificado.A equipe liderada por Sokolov constatou que seis fatores principais afetam a satisfação no trabalho: a ordem e o horário de trabalho, as condições de trabalho, a natureza do trabalho, o salário, o desenvolvimento da carreira, o clima psicológico, as relações interpessoais com os colegas. Os dois últimos fatores - ambiente mental e relacionamentos interpessoais - são mais frequentemente discutidos por pessoas online quando discutem satisfação no trabalho. Portanto, os autores sugeriram que, quando uma pessoa decide pedir demissão, ela tende a tolerar fatores econômicos (por exemplo, com as perspectivas de desenvolvimento de carreira e aumentos salariais), e não com fatores socioemocionais (por exemplo, com má natureza do trabalho, relacionamento ruim com os colegas). O principal problema da pesquisa é a correção de usar a análise de sentimento. Todos os comentários no site Otrude contêm a avaliação do autor,portanto, de um ponto de vista formal, a classificação de sentimento não é necessária para avaliar essas revisões. Outra desvantagem é que os autores não descreveram sua abordagem para a análise e os resultados da classificação de sentimento no conjunto de dados de teste.

2.2.

A equipe liderada por Seliverstov, com base em dados do portal Autostrada, avaliou a atitude em relação ao estado das estradas no Distrito Federal do Noroeste da Federação Russa [71]. Para o treinamento, os autores usaram RuTweetCorp [141], o maior conjunto de textos auto-anotados com pouca filtragem manual, coletados no Twitter em russo. Para fins de classificação, foram utilizados um modelo de gradiente descendente estocástico linear regularizado e um modelo Bag of Words com vetorização TF-IDF. Após o treinamento, o modelo demonstrou uma precisão de classificação binária de 72%. Depois de analisar as revisões para o período de 1º de março de 2009 a 1º de novembro de 2018, os autores descobriram que o comprimento de todas as estradas avaliadas positivamente foi de 9.874 km (75% do comprimento total) e o comprimento das estradas avaliadas negativamente foi de 3.385 km (25%).No entanto, este estudo tem várias desvantagens. Em primeiro lugar, os autores não descrevem o processo de pré-processamento, que é fundamental para o aprendizado na RuTweetCorp. O fato é que este conjunto foi originalmente desenhado para criar um léxico de emoções, e não para uma classificação direta de sentimento. O conjunto foi montado automaticamente de acordo com uma determinada estratégia [144], ou seja, cada texto está associado a alguma classe de emoções dependendo dos emoticons nele contidos. Portanto, mesmo uma abordagem simples baseada em regras pode fornecer resultados excelentes. Por exemplo, se o modelo classifica o texto como positivo devido à presença de um caractere nele (ou como negativo devido à ausência desse caractere, então na classificação binária obtemos Fo que é fundamental para aprender na RuTweetCorp. O fato é que este conjunto foi originalmente desenhado para criar um léxico de emoções, e não para uma classificação direta de sentimento. O conjunto foi montado automaticamente de acordo com uma determinada estratégia [144], ou seja, cada texto está associado a alguma classe de emoções dependendo dos emoticons nele contidos. Portanto, mesmo uma abordagem simples baseada em regras pode fornecer resultados excelentes. Por exemplo, se o modelo classifica o texto como positivo devido à presença de um caractere nele (ou como negativo devido à ausência desse caractere, então na classificação binária obtemos Fo que é fundamental para aprender na RuTweetCorp. O fato é que este conjunto foi originalmente desenhado para criar um léxico de emoções, e não para uma classificação direta de sentimento. O conjunto foi montado automaticamente de acordo com uma determinada estratégia [144], ou seja, cada texto está associado a alguma classe de emoções dependendo dos emoticons nele contidos. Portanto, mesmo uma abordagem simples baseada em regras pode fornecer resultados excelentes. Por exemplo, se o modelo classifica o texto como positivo devido à presença de um caractere nele (ou como negativo devido à ausência desse caractere, então na classificação binária obtemos Fou seja, cada texto está associado a alguma classe de emoções dependendo dos emoticons que contém. Portanto, mesmo uma abordagem simples baseada em regras pode fornecer resultados excelentes. Por exemplo, se o modelo classifica o texto como positivo devido à presença de um caractere nele (ou como negativo devido à ausência desse caractere, então na classificação binária obtemos Fou seja, cada texto está associado a alguma classe de emoções dependendo dos emoticons que contém. Portanto, mesmo uma abordagem simples baseada em regras pode fornecer resultados excelentes. Por exemplo, se o modelo classifica o texto como positivo devido à presença de um caractere nele (ou como negativo devido à ausência desse caractere, então na classificação binária obtemos F₁ = 97,39%. Para resolver os problemas de análise automática de sentimento, os autores do conjunto de dados recomendam a exclusão de emoticons durante o pré-processamento. De acordo com [145], neste caso, utilizando a máquina de vetores de suporte [33], a pontuação macro média F ₁= 75,95%. Portanto, sem o conhecimento do processo de pré-processamento, é difícil avaliar a exatidão do estudo. Em segundo lugar, há muitas dúvidas sobre a eficácia do uso de dados de uma área para aprendizagem em outra área. Nesse caso, seria possível anotar manualmente um pequeno conjunto de dados sobre o tema de interesse (revisões do usuário no portal de transporte) e testar o modelo treinado nele. Terceiro, RuTweetCorp consiste em três classes, mas os autores não levaram em consideração a classe neutra em seu estudo. Mensagens positivas e negativas foram postadas no site oficial da RuTweetCorp, e mensagens neutras foram postadas em um site separado. Acho que é por isso que alguns estudos [146] - [150] usaram apenas mensagens positivas e negativas para classificação binária. Pode ser assumidoessa classe neutra pode mudar a distribuição geral de avaliações de estradas negativas e positivas. Finalmente, a maioria das avaliações da Freeway tem classificações de direitos autorais, portanto, de um ponto de vista formal, uma classificação de sentimento não é necessária para avaliar essas avaliações. Nesse caso, seria interessante comparar as pontuações com base nas avaliações das resenhas e nos rótulos de classificação de sentimento.

2.3

Lee e Chen, da Universidade do Arizona, desenvolveram uma estrutura de aprendizado de máquina para determinar a qualidade dos produtos vendidos com base no feedback do cliente [72]. Esta estrutura consiste em três módulos principais: amostragem em bola de neve usando palavras-chave e usuários relevantes, classificação de tópicos com base na entropia máxima e análise de sentimento usando aprendizado profundo. Uma das características distintivas do último módulo é que ele primeiro usa o Google Translate para traduzir o texto russo para o inglês, e só então classifica o sentimento usando uma rede de tensores neurais recursivos com palavras representadas como um banco de árvores sintáticas [121]. A estrutura proposta foi testada em um fórum em russo dedicado à fraude de cartão de banco.Como resultado, foram identificados os principais vendedores de malware e ladrões de dados de cartões bancários. Por meio de uma análise mais detalhada, os autores descobriram que os comerciantes de cartões tendem a ter classificações mais baixas do que os comerciantes de software. Os autores acreditam que a razão é que a qualidade do software é mais fácil de determinar do que a qualidade dos dados roubados. Os autores mencionaram que o classificador de sentimento foi treinado a partir de pesquisas online, o que é apropriado para o seu tema de interesse, mas não descreveram os detalhes do uso do conjunto de dados e as métricas de qualidade da classificação. A tradução para outro idioma pode mudar significativamente o significado ou tom do texto, portanto, é quase impossível avaliar a qualidade da análise sem testar em textos em russo.que os comerciantes de cartão geralmente têm uma classificação mais baixa do que os comerciantes de software. Os autores acreditam que a razão é que a qualidade do software é mais fácil de determinar do que a qualidade dos dados roubados. Os autores mencionaram que o classificador de sentimento foi treinado a partir de pesquisas online, o que é apropriado para seu tópico de interesse, mas não descreveram os detalhes do uso do conjunto de dados e as métricas de qualidade da classificação. A tradução para outro idioma pode alterar significativamente o significado ou tonalidade do texto, portanto, sem testar em textos em língua russa, é quase impossível avaliar a qualidade da análise.que os comerciantes de cartão geralmente têm uma classificação mais baixa do que os comerciantes de software. Os autores acreditam que a razão é que a qualidade do software é mais fácil de determinar do que a qualidade dos dados roubados. Os autores mencionaram que o classificador de sentimento foi treinado a partir de pesquisas online, o que é apropriado para o seu tema de interesse, mas não descreveram os detalhes do uso do conjunto de dados e as métricas de qualidade da classificação. A tradução para outro idioma pode alterar significativamente o significado ou tonalidade do texto, portanto, sem testar em textos em língua russa, é quase impossível avaliar a qualidade da análise.no entanto, eles não forneceram detalhes sobre o uso do conjunto de dados e as métricas de qualidade de classificação. A tradução para outro idioma pode mudar significativamente o significado ou tom do texto, portanto, é quase impossível avaliar a qualidade da análise sem testar em textos em russo.no entanto, eles não forneceram detalhes sobre o uso do conjunto de dados e as métricas de qualidade de classificação. A tradução para outro idioma pode mudar significativamente o significado ou tom do texto, portanto, é quase impossível avaliar a qualidade da análise sem testar em textos em russo.

3.

Resenhas geradas por usuários e conteúdo de mídia social geralmente são subjetivos porque os autores são livres para expressar suas opiniões. No entanto, a situação é diferente com a análise de notícias. As agências de notícias tentam evitar julgamentos e parcialidades, tentando se livrar das dúvidas e ambigüidades. Sua filosofia é baseada na objetividade, ou pelo menos na neutralidade amplamente aceitável [73]. Portanto, os jornalistas muitas vezes evitam usar vocabulário negativo ou positivo, mas recorrem a outras formas de expressar sua opinião [74]. Por exemplo, os jornalistas podem enfatizar alguns fatos e omitir outros, inserir declarações em uma estrutura complexa de discurso e indicar uma citação que se adapte ao seu ponto de vista. O amplo interesse das pessoas pelas notícias foi notado há séculos [151], [152].Notícias são usadas como fonte de dados para análise de sentimento em vários campos. Por exemplo, para avaliar o sentimento das próprias notícias [153], [154], para prever os preços das ações [155], [156], resultados eleitorais [157], [158], preços de mercadorias em lojas online [159] e comportamento futuro do cliente [154]. Com relação às notícias em russo, identifiquei duas categorias de pesquisa: avaliação do sentimento das notícias e previsão econômica e de negócios.avaliação de sentimento de notícias e previsões econômicas e de negócios.avaliação de sentimento de notícias e previsões econômicas e de negócios.

3.1. Conteúdo de notícias

Belyakov dedicou vários artigos [94], [95] à análise do sentimento de notícias do site do Ministério das Relações Exteriores da Rússia. O autor utilizou artigos da seção "Notícias", publicados de 1 a 28 de fevereiro de 2015. As unidades de texto foram atribuídas às seguintes categorias:

• Questão ucraniana;
• Cooperação entre a Rússia e a China;
• Relações entre a Rússia e a Ucrânia;
• O conflito na Síria;
• Cooperação com o Turcomenistão;
• Relações entre a Rússia e a Grécia;
• Sanções contra a Rússia;
• Diplomacia hoje.

O autor criou um classificador básico baseado em regras que resume a polaridade das palavras emocionais no texto e prevê a classe binária final. Além disso, um dicionário de 300 radicais de palavras positivas e 300 negativas foi compilado. De acordo com os resultados da análise, as categorias “Cooperação entre a Rússia e a China”, “Cooperação com o Turcomenistão”, “Relações entre a Rússia e a Grécia” e “Diplomacia hoje” tiveram uma cor positiva. As categorias “Questão ucraniana”, “Relações entre a Rússia e a Ucrânia” e “Sanções contra a Rússia” tiveram cor negativa. É importante que o estudo analise apenas o conteúdo de artigos de jornalistas, ou seja, é uma expressão da posição oficial do Itamaraty sobre determinados temas. No futuro, você pode adicionar reações e comentários do leitor a artigos de notícias publicados no site. Em termos de análise de sentimento,a principal desvantagem da pesquisa de Belyakov é a falta de avaliação do modelo. Sem conhecer as métricas de qualidade dos dados de teste, não podemos avaliar o desempenho do modelo e, portanto, a qualidade dos resultados da análise.



Um grupo de pesquisa da Academia Russa de Ciências estudou as atitudes em relação às tecnologias e inovações mencionadas na mídia [96]. Com a ajuda do Exactus Expert [160], os autores selecionaram de 16 fontes mais de 240.000 artigos sobre inovação e tecnologia publicados de 2005 a 2015. Em seguida, com base em palavras-chave selecionadas manualmente, eles categorizaram os artigos de acordo com 11 tendências de tecnologia da Lista de Tecnologias Críticas da Federação Russa. Em seguida, os autores selecionaram 120 artigos e anotaram manualmente cada objeto de sentimento mencionado no artigo como positivo ou negativo. Com base em um conjunto de treinamento de 346 pares anotados, os pesquisadores criaram um vocabulário de emoções e desenvolveram um algoritmo de classificação baseado em regras. Verificou-se que, em geral, os meios de comunicação tendem a escrever sobre tecnologia de forma neutra, o que pode ser devido à consistência do estilo das reportagens.A proporção relativamente baixa de referências negativas a TI e biotecnologia e sua cobertura geral positiva nos artigos sugere que a sociedade não está preocupada com as potenciais consequências negativas dessas tecnologias. Ao mesmo tempo, a proporção de críticas negativas sobre tecnologias militares é maior do que em outras áreas. No entanto, os autores não descrevem as métricas de classificação no algoritmo desenvolvido. Além disso, como já mencionado, esses artigos foram escritos por jornalistas que podiam expressar não só o público, mas também o ponto de vista oficial. Para avaliar as atitudes do público em relação a vários tópicos, é necessário investigar mais a fundo as reações das pessoas aos artigos de notícias.a parcela de críticas negativas sobre tecnologias militares é maior do que em outras áreas. No entanto, os autores não descrevem as métricas de classificação no algoritmo desenvolvido. Além disso, como já mencionado, esses artigos foram escritos por jornalistas que podiam expressar não só o público, mas também o ponto de vista oficial. Para avaliar as atitudes do público em relação a vários tópicos, é necessário investigar mais a fundo as reações das pessoas aos artigos de notícias.a parcela de críticas negativas sobre tecnologias militares é maior do que em outras áreas. No entanto, os autores não descrevem as métricas de classificação no algoritmo desenvolvido. Além disso, como já mencionado, esses artigos foram escritos por jornalistas que podiam expressar não só o público, mas também o ponto de vista oficial. Para avaliar as atitudes do público em relação a vários tópicos, é necessário investigar mais a fundo as reações das pessoas aos artigos de notícias.



Kazun e Kazun [75] analisaram a cobertura da mídia russa das atividades de Trump durante e após a eleição. Os autores usaram o banco de dados Integrum para análise de rede e o banco de dados Medialogy para análise de sentimento. Três intervalos de tempo foram tomados para o estudo: um mês antes das eleições, um mês depois e 7 meses depois. Utilizando a abordagem da Medialogia, os textos foram divididos em três classes: positivo, negativo e neutro. Descobriu-se que a cobertura da mídia das atividades de Trump antes das eleições era mais negativa do que positiva. Em alguns meses, entretanto, a cobertura da campanha de Clinton foi ainda mais positiva do que a cobertura de Trump, embora nos quatro meses anteriores à eleição os artigos relacionados a Clinton fossem amplamente críticos. Uma das desvantagens do estudo éque os autores não descreveram a qualidade da classificação dos dados sobre o tema de interesse, sendo difícil verificar a precisão dos resultados.



Estudos semelhantes foram dedicados à análise de notícias relacionadas à política e ao governo. Ao contrário do conteúdo das mídias sociais, não houve dificuldade em acessar dados antigos, pois a mídia geralmente não impede. No entanto, alguns autores de pesquisas de notícias tentaram definir a opinião pública sobre tópicos específicos que, acredito, merecem uma elaboração mais aprofundada. A mídia pode, é claro, ser considerada um reflexo da opinião pública, no entanto, em alguns casos, as políticas dos editores podem influenciar a entrega, de modo que as notícias nem sempre refletem a opinião pública.

3.2. Previsões econômicas e de negócios

Yakovleva propôs calcular um indicador de alta frequência da atividade econômica na Rússia com base em artigos de notícias em combinação com uma análise do sentimento dos textos [76]. Durante o estudo, dois componentes foram criados: o primeiro destina-se a refletir a quantidade de tópicos e o segundo é para identificar o tom das notícias. O pré-processamento consistiu em várias etapas: derivação com MyStem, remoção de pontuação, palavras de parada e espaços desnecessários. Como um modelo de classificação de sentimento, Yakovleva pegou um algoritmo de vetor de suporte [33] e o treinou em dados anotados manualmente contendo 3438 artigos de notícias positivos e negativos. A precisão no conjunto de teste foi de 64%. O autor mencionou que se o modelo determinasse a tonalidade do texto com probabilidade menor que 60%, a tonalidade era considerada neutra e o texto era excluído da análise. Todos os tópicos,obtidas com o primeiro componente foram combinadas com as informações de sentimento do segundo modelo. Com base nesses dados combinados, um modelo de regressão foi desenvolvido para prever os Índices de Gerentes de Compras (PMI). Os dados de teste cobriram o período de fevereiro de 2017 a agosto de 2018. O modelo mostrou recursos de previsão relativamente bons, aproximando-se com precisão do índice real para o novo período. Os resultados da pesquisa mostram que o modelo pode monitorar de perto o desempenho econômico, ajudando a responder rapidamente à situação financeira atual e a tomar decisões rapidamente. No entanto, este estudo tem várias desvantagens. Primeiro, não está claro quais probabilidades foram usadas,porque a implementação da máquina de vetores de suporte básico não fornece estimativas de probabilidade diretamente. Além disso, a metodologia para selecionar os valores limite não é descrita. Em segundo lugar, os dados de treinamento de Yakovleva foram anotados por apenas um especialista, o que não corresponde à prática geralmente aceita [142], [161], [162]. Finalmente, o autor publicou uma representação gráfica da comparação prevista e dos valores reais do PMI, mas não mencionou nenhuma métrica de qualidade de regressão.mas não mencionou nenhuma métrica de qualidade de regressão.mas não mencionou nenhuma métrica de qualidade de regressão.

4. Livros

Nos últimos 60 anos, a análise da literatura científica percorreu um longo caminho, desde a contagem manual de citações e análise de frequência de palavras até métodos modernos de análise automática de texto profundo [163]. Um dos tópicos atuais nesta área é a análise do sentimento de materiais educacionais.

4.1. Conteúdo dos livros

O grupo de pesquisa de Soloviev estudou a tonalidade dos livros de estudos sociais e história que são usados ​​nas escolas primárias e secundárias russas [77]. Para este estudo, o Corpus Acadêmico da Língua Russa foi compilado com base em 14 livros didáticos de língua russa editados por Bogolyubov e Nikitin. O pré-processamento incluiu tokenização de frase, tokenização de palavra e marcação de parte da fala usando TreeTagger [164]. Usando o dicionário de língua russa RuSentiLex [25], os autores calcularam a frequência de palavras emocionais em cada documento e mediram seu número específico por 1000 palavras no documento. Após a análise do corpus, os autores constataram que o discurso nos livros didáticos de história do ensino médio, assim como nos livros didáticos de estudos sociais do ensino médio, escritos por Nikitin, apresenta-se principalmente em tom negativo:palavras polarizadas negativamente são usadas e exemplos negativos são apresentados. E os livros escritos por Bogolyubov têm um tom geralmente positivo. No entanto, uma fonte significativa de insegurança é a precisão e relevância das palavras emocionais extraídas do corpus, uma vez que RuSentiLex foi originalmente criado para outros tópicos. Além disso, RuSentiLex fornece uma única representação independente do contexto da polaridade emocional, independentemente de onde a palavra ocorre na frase e independentemente de seus possíveis significados. Portanto, esta abordagem não permite que você compreenda os diferentes significados das palavras com base no contexto da frase.uma fonte significativa de insegurança é a precisão e relevância das palavras emocionais extraídas do corpus, uma vez que RuSentiLex foi originalmente criado para outros tópicos. Além disso, RuSentiLex fornece uma única representação independente do contexto da polaridade emocional, independentemente de onde a palavra ocorre na frase e independentemente de seus possíveis significados. Portanto, esta abordagem não permite que você compreenda os diferentes significados das palavras com base no contexto da frase.uma fonte significativa de insegurança é a precisão e relevância das palavras emocionais extraídas do corpus, uma vez que RuSentiLex foi originalmente criado para outros tópicos. Além disso, RuSentiLex fornece uma única representação independente do contexto da polaridade emocional, independentemente de onde a palavra ocorre na frase e independentemente de seus possíveis significados. Portanto, esta abordagem não permite que você compreenda os diferentes significados das palavras com base no contexto da frase.Portanto, esta abordagem não permite que você compreenda os diferentes significados das palavras com base no contexto da frase.Portanto, esta abordagem não permite que você compreenda os diferentes significados das palavras com base no contexto da frase.

4.2. Processo educacional

Kolmogorova conduziu um experimento sobre ensino de russo para estudantes chineses [78]. Ela mediu a relação entre o sentimento dos textos educacionais, a avaliação subjetiva por estudantes estrangeiros da atratividade e eficácia do curso de formação, bem como o sucesso real do ensino de tais textos. Para analisar o sentimento, o autor usou um classificador de emoções baseado em aprendizado de máquina desenvolvido no Laboratório de Linguística Aplicada e Pesquisa Cognitiva da Universidade Federal da Sibéria. O modelo de análise de sentimento classificou os textos em 9 classes com F ₁ macro-média-ponto 50%. Oito graus correspondem às emoções básicas de L¨ovheim [165], e o último são textos emocionalmente neutros. Para o conjunto de treinamento, os textos foram selecionados no grupo aberto `` Overheard '' VKontakte. 231 falantes nativos de russo marcaram os textos, avaliando subjetivamente o grau de expressão de qualquer emoção, enquanto a cada texto foi atribuída apenas uma emoção. Todos os textos foram corrigidos por pelo menos três avaliadores. Se dois ou três avaliadores atribuíam a mesma classe ao texto, essa emoção era atribuída ao texto. Caso contrário, o texto foi removido do conjunto de treinamento para esta classe. Kolmogorova usou textos cujas emoções principais eram prazer / alegria e tristeza / melancolia. O experimento foi realizado com a participação de 30 estudantes da China, que foram divididos em três grupos iguais.Cada grupo estudou e examinou o tema "Pontuação". Um grupo aprendeu com os textos alegres, o segundo com os tristes e o terceiro com os neutros. Após a conclusão do estudo experimental e dos exames, os alunos responderam a um questionário no qual constataram o grau de interesse geral pelo curso e sua eficácia, bem como o grau de satisfação com o processo de aprendizagem. Depois de analisar os questionários e os resultados dos exames, Kolmogorova descobriu que o tom do texto educacional afeta fortemente a avaliação subjetiva do processo educacional e sua eficácia objetiva. Em média, os alunos cometeram menos erros em textos tristes do que alegres e neutros, mas trabalhar com eles trouxe menos satisfação. O maior interesse foi despertado pelo trabalho com textos alegres, mas ao mesmo tempo a eficácia do treinamento foi menor.Uma fonte significativa de incerteza neste estudo é o método usado para classificar a polaridade emocional dos textos. O modelo foi treinado em textos de uma área e aplicado a textos de outra sem verificação adicional da qualidade da classificação. A autora não descreveu detalhes sobre o modelo de classificação, nem forneceu mais informações sobre pré-processamento e aprendizagem.



Assim, a principal dificuldade na análise de livros didáticos é a ausência de vocabulário emocional e kits de treinamento sobre o tema. Quando os pesquisadores analisaram textos no nível da palavra usando vocabulários emocionais, geralmente uma representação independente do contexto da polaridade emocional foi considerada para cada palavra, independentemente da localização da palavra na frase e independentemente de seus outros significados possíveis. Além disso, para a análise de textos no nível do documento, torna-se difícil associar textos a classes de emoções, porque os textos nos livros são longos e diferentes emoções podem ser expressas ao longo de um texto.

5. Fontes de dados mistas

Para cobrir uma gama mais ampla de materiais, alguns estudos usam textos de fontes diferentes. Por exemplo, se os autores usam notícias e conteúdo de mídia social, eles podem não apenas medir a polaridade da cobertura de certos eventos por agências de notícias e agências governamentais, mas também podem medir as atitudes das pessoas em relação aos diferentes tópicos discutidos.



Em um artigo publicado no Berkman Center for Internet & Society [97], Etling explorou o tom da discussão dos protestos ucranianos durante o período Euromaidan em vários meios de comunicação tradicionais e online em russo e inglês, bem como nas redes sociais. O estudo utilizou o software Crimson Hexagon [166], que é baseado no método de análise desenvolvido por Hopkins e King [167]. Os textos foram classificados em quatro classes de atitudes em relação aos protestos: positivas, neutras, negativas e não relacionadas. A fonte de dados foram publicações em russo e inglês no Twitter, Facebook, blogs, fóruns e sites de notícias para o período de 21 de novembro de 2013 a 26 de fevereiro de 2014. Devido às restrições do Crimson Hexagon, textos em ucraniano não foram considerados. Revelou,que fontes e usuários em russo expressaram mais apoio aos protestos do que o esperado. Os textos em inglês nos EUA e no Reino Unido foram mais negativos do que o esperado com base no apoio ideológico dos governos ocidentais. Ao mesmo tempo, o conteúdo das mídias sociais no Reino Unido, EUA e Ucrânia foi mais positivo em comparação com as mídias tradicionais desses países. A principal desvantagem do estudo está relacionada ao modelo de classificação de sentimento. Primeiro, ela treinou na quantidade mínima de dados, ou seja, em cerca de 120-140 publicações marcadas. Em segundo lugar, os dados de treinamento foram anotados por apenas um avaliador, o que contradiz as melhores práticas [142], [161], [162]. A confiabilidade e a qualidade da classificação não foram testadas, o que contradiz os princípios básicos dos modelos de aprendizado de máquina supervisionado [168]. Além disso,uma lista completa das fontes analisadas não é fornecida, portanto, é difícil validar a confiabilidade de sua seleção. Além disso, os textos ucranianos não foram considerados, excluindo assim um amplo leque de opiniões.



Kazun analisou a intensidade e o tom da cobertura na mídia e nas redes sociais das atividades de Alexei Navalny com base em dados de 2014-2016 [80]. Com a ajuda da Medialogia, o autor recebeu mais de 145.000 artigos de notícias sobre Navalny de jornais, sites e dos três maiores canais de TV federais russos. Para analisar o sentimento, Kazun utilizou os algoritmos desenvolvidos em Medialogia (classificação em classes positivas, negativas ou neutras), tendo-os verificado previamente em duzentos artigos marcados manualmente. Descobriu-se que a mídia tradicional tende a ignorar Navalny, exceto na publicação ocasional de documentos ou notícias, a fim de denegrir a oposição russa em geral ou Navalny pessoalmente. De modo geral, Navalny teve cobertura mais positiva em blogs do que em outras mídias. No entanto, as discussões nesses artigos foram predominantemente críticas.Os autores também descreveram as especificidades de cada tipo de mídia, esclarecendo as estratégias de publicação características e padrões de tom. Apesar da negatividade geral, a cobertura noticiosa das atividades de Navalny está se tornando mais positiva a cada ano. As razões para esta tendência são a diminuição do número de artigos críticos e o aumento do número de artigos positivos. Como em todos os exemplos descobertos de uso dos algoritmos de análise de sentimento da medialogia, os autores não descrevem métricas de classificação para o tópico de destino.Como em todos os exemplos descobertos de uso dos algoritmos de análise de sentimento da medialogia, os autores não descrevem métricas de classificação para o tópico de destino.Como em todos os exemplos descobertos de uso dos algoritmos de análise de sentimento da medialogia, os autores não descrevem métricas de classificação para o tópico de destino.



Em sua pesquisa [79], Brantley analisou a revolução ucraniana de 2013-2014 com base no conteúdo do Twitter, Facebook, YouTube, blogs, fóruns e sites de notícias. Com a ajuda da plataforma Crimson Hexagon, ele reuniu uma coleção de 2.809.476 textos em russo, ucraniano e inglês. Foram considerados apenas os textos publicados na Ucrânia no período de 21 de novembro de 2013 a 1 de março de 2014. Dois avaliadores, fluentes nos três idiomas, anotaram o conjunto de dados de treinamento para o algoritmo BrightView, que faz parte do Crimson Hexagon e é um algoritmo de análise de dados não paramétricos. descrito em [166]. Os textos foram divididos em três categorias: positivos, neutros e negativos. Os testes no Crimson Hexagon mostraram uma correspondência de 92% com a classificação manual.Juntamente com os dados coletados, o autor usou informações do Tone Dataset Global Knowledge Graph e Events Dataset e Global Events Language [169]. Descobriu-se que na Ucrânia havia uma discrepância pronunciada entre associações políticas e preferências associadas a características linguísticas. Isso foi confirmado pelos resultados de votações anteriores, quando os falantes de língua ucraniana tradicionalmente expressaram mais apoio à oposição. Ao comparar o envolvimento online e offline diretamente, Brantley concluiu que a mídia social influenciou significativamente o desenvolvimento físico dos protestos, ou seja, levou a um aumento no número de manifestantes nas ruas.que na Ucrânia havia pronunciadas discrepâncias entre associações políticas e preferências associadas a características linguísticas. Isso foi confirmado pelos resultados de votações anteriores, quando os falantes de língua ucraniana tradicionalmente expressaram mais apoio à oposição. Ao comparar o envolvimento online e offline diretamente, Brantley concluiu que a mídia social influenciou significativamente o desenvolvimento físico dos protestos, ou seja, levou a um aumento no número de manifestantes nas ruas.que na Ucrânia havia pronunciadas discrepâncias entre associações políticas e preferências associadas a características linguísticas. Isso é ainda confirmado pelos resultados de votações anteriores, quando os falantes de língua ucraniana tradicionalmente expressaram mais apoio à oposição. Ao comparar o envolvimento online e offline diretamente, Brantley concluiu que a mídia social influenciou significativamente o desenvolvimento físico dos protestos, ou seja, levou a um aumento no número de manifestantes nas ruas.que as redes sociais influenciaram significativamente o desenvolvimento físico dos protestos, ou seja, levaram a um aumento do número de manifestantes nas ruas.que as redes sociais influenciaram significativamente o desenvolvimento físico dos protestos, ou seja, levaram a um aumento do número de manifestantes nas ruas.



A principal desvantagem de usar fontes de diferentes tipos é que, além de uma ampla gama de opiniões expressas, os autores enfrentam dificuldades e limitações que são características de certos tipos de fontes. Eles podem ser associados ao acesso a dados representativos, uma descrição exaustiva das limitações, falta de dados de treinamento para o tópico selecionado. Em alguns estudos, a análise de sentimento e a agregação de índices de emoção foram realizadas com base em uma ampla gama de textos, sem diferenciação por tipo de fonte. Por exemplo, ao agregar emoções, os autores consideraram as publicações nas redes sociais e os artigos de notícias como unidades iguais. Talvez, nesses casos, seja mais lógico usar modelos mais complexos que usem pesos para analisar mais corretamente textos de diferentes tipos de fontes.

6. Próximo

Em alguns dias será lançada a parte final, na qual falaremos sobre as dificuldades comuns enfrentadas pelos pesquisadores, bem como rumos promissores para o futuro. Se você quiser ler o artigo inteiro de uma vez e em inglês, clique aqui .

7. Fontes

Uma lista completa de fontes pode ser encontrada aqui .