Problemas de publicações científicas

Para pessoas que não estão familiarizadas com o processo científico, a importância dos artigos científicos pode não estar muito clara. A publicação não é apenas a disseminação da informação, mas também a verificação dos resultados da pesquisa, e também a medida mais importante da eficácia do trabalho científico.



A importância das publicações para os cientistas é descrita pela expressão " Publique ou pereça " - "Publique ou morra". Todos os tipos de indicadores bibliométricos são a base para a obtenção de bolsas, ascensão na carreira e, em última instância, o sucesso científico. E, portanto, os problemas das publicações científicas afetam negativamente toda a ciência em geral.

Introdução - Por que publicações científicas?

Como funciona o sistema de publicação científica? Tudo começa com o fato de você ter concluído um estudo que deseja publicar. Você deve preparar textos e ilustrações de acordo com o modelo aceito na revista para a qual deseja enviar seu artigo. No início, o manuscrito vai para o editor, ele pode recusar imediatamente, por considerar o artigo desinteressante, não suficientemente novo ou não adequado ao tema da revista. Se o seu manuscrito passar neste primeiro filtro, o editor o envia para revisão por 2 a 3 estudiosos da área relevante. Esta etapa é chamada de revisão por pares e é a principal etapa da publicação científica. Os revisores analisam cuidadosamente o seu trabalho, fornecem feedback e sugerem alterações e experiências adicionais. Se todos os revisores avaliaram o manuscrito negativamente, a revista não publicará o artigo.Mas mesmo com uma avaliação positiva, geralmente é necessário fazer mudanças. Em seguida, o artigo é encaminhado para a segunda rodada da revisão. Isso pode ser repetido várias vezes até que os revisores estejam satisfeitos com o resultado final.



Por que esse sistema é necessário? Isso garante que os especialistas revisaram o manuscrito e que todos os padrões exigidos foram atendidos. É exatamente assim que os artigos diferem dos preprints (por exemplo, em arxiv.org e biorxiv.org), que ainda não foram revisados, e a qualidade do trabalho científico não pode ser garantida.



Essa introdução detalhada é necessária para que você entenda como uma publicação científica difere, por exemplo, de um artigo sobre Habré.



Quais são os problemas com publicações científicas? Existem muitos deles. E têm um efeito tangível em todo o processo de pesquisa, porque, como disse no início, os artigos são a principal medida da eficácia do trabalho dos cientistas. É interessante que muitos problemas são herdados de tempos antigos, quando não existia Internet e os métodos de divulgação de informações eram radicalmente diferentes.



Então, vamos começar. O problema mais visível é claro

Dinheiro

No momento, existem duas formas principais de "monetizar" um periódico científico: assinatura (acesso pago) e acesso aberto (acesso aberto). No primeiro caso, você precisa comprar um artigo separado ou uma assinatura anual da revista. O acesso aberto permite que qualquer pessoa, em qualquer lugar, baixe um artigo da Internet.



Vamos considerar as duas opções com mais detalhes.

Acesso pago (acesso pago)

Esta é uma das características que surgiram há cem anos. Quando as revistas de papel eram a única forma de divulgar informações, elas tinham que ser impressas e enviadas. Pessoas e organizações os assinavam como qualquer outro periódico. Algumas revistas científicas ainda têm versões em papel, mas na maioria das vezes seu único uso é folhear na hora do almoço.



É óbvio que agora a maioria das publicações científicas é distribuída pela Internet. E ao trabalhar com informações, sistemas de busca automática são usados ​​(por exemplo, Scopus ou Pubmed). Ou seja, agora não procuro um artigo em revista, procuro um artigo por palavras-chave ou autores. Mas muitas vezes, depois de encontrar a pesquisa de que precisa, você pode se deparar com um acesso pago.





^{Artigo auto-irônico na Nature ...}



Muitas revistas científicas agora exigem uma assinatura para acessar o artigo. Como o custo de um único artigo pode chegar a várias dezenas de dólares e cada funcionário precisa ter acesso a centenas de publicações, os editores concordam com as instituições científicas e educacionais para assinar um grande pacote de seus periódicos por um longo tempo. Nesse caso, os funcionários podem acessar todas as revistas da editora. Porém, mesmo “com desconto” para um grande volume, o custo ainda é muito alto. Não se sabe exatamente quanto dinheiro cada organização gasta em assinaturas, os editores não divulgam esses dados. Mas universidades em muitos países, incluindo, por exemplo, Alemanha, recusam inscrições devido ao seu alto custo. Nosso instituto parou de assinar a Elsevier e, como resultado, perdemos o acesso legal a um grande número de revistas. Em geral, muitas instituições científicas não gostam da Elsevier,pois eles querem muito dinheiro para uma assinatura.



Outro inconveniente é que a assinatura só funciona nos endereços IP da universidade ou instituto. Ou seja, você não pode ler artigos de casa ou enquanto viaja sem uma VPN. E às vezes o acesso às revistas é limitado apenas aos computadores da biblioteca! Isso é muito inconveniente e é por isso que até mesmo os cientistas que têm acesso legal a periódicos costumam usar o SciHub.







O principal problema é que a maioria das pessoas não consegue acessar os artigos. Mas mais da metade da pesquisa científica é financiada pelo estado, ou seja, por nossos impostos. E muitas vezes é impossível ler o artigo com os resultados. Nem a escola, nem o jornalista, nem o interessado comum têm assinatura e, portanto, acesso ao artigo.

Acesso livre

Os problemas de “monetização” por assinatura tornaram-se evidentes para a comunidade científica há muito tempo. E com o desenvolvimento da Internet, surgiram revistas que só vão online (uma das editoras mais famosas é a PLOS). Portanto, a monetização também mudou. Já quem publica, ou seja, o pesquisador, paga o artigo. E os preços vão surpreendê-lo "agradavelmente" . Um artigo (dependendo da revista) custa de $ 1.500 a $ 5.700. 





É importante entender aqui que se trata apenas de um pagamento pela publicação. O dinheiro da universidade ou bolsas são gastos em pesquisa, e a revista recebe conteúdo pronto de graça. Você pode comparar este sistema com o youtube, como se os blogueiros tivessem que pagar para enviar um vídeo. O mais interessante é que no final é a mesma pessoa que paga antes (a instituição e, portanto, na maioria das vezes o estado). Já no sistema de acesso aberto, todos podem ler o texto completo do artigo. Essa mudança simplifica muito a interação com os logs. Portanto, muitos apóiam a transição de todos os artigos para o acesso aberto ( programa OA2020 ).



No entanto, nesse sistema, as instituições ainda gastam grandes somas de dinheiro para publicar pesquisas. Por exemplo, o Reino Unido economizará 8 milhões de euros se colocar todos os artigos no acesso aberto - 45 milhões contra 53 milhões, que estão pagando agora. Apenas 44 milhões também é uma quantia bastante grande.





^{O que constitui o custo do artigo. Existem dois pontos importantes a serem observados nesta figura. Primeiro, o trabalho do revisor ocupa um terço do custo, mas não é pago. Em segundo lugar, o lucro das revistas científicas é de 15-20%! E de acordo com algumas estimativas, pode chegar a 35%.}

Um grande número de revistas e padrões diferentes

Outra questão importante é que todas as revistas e editoras têm padrões diferentes. Isso é especialmente perceptível se o artigo for rejeitado pelo editor. Ele faz isso sem uma análise detalhada do artigo, focando apenas no interesse e na novidade da pesquisa, bem como em como o artigo se ajusta ao formato e ao tema da revista.



Uma revisão editorial de um artigo pode levar de uma semana a um mês. Se um editor rejeita um artigo, os autores o submetem a outro periódico. Normalmente, isso envolveria alterar drasticamente a formatação do artigo. O número de caracteres no texto, o número de fotos e até mesmo a capacidade de usar fotos coloridas, o número de fontes de literatura e muito mais precisam ser alterados ao trocar a revista. A mudança pode ser bastante demorada, por exemplo, reduzindo o texto de 6.000 palavras para 4.000 e até mesmo mantendo o significado e a precisão do texto.



Se o artigo não couber na próxima revista, você precisará alterá-lo novamente. Às vezes, até 5-6 dessas entradas podem ocorrer. E para cada revista, perde-se tempo mudando o texto e revisando pelo editor. Em casos particularmente infelizes, levará vários meses e muitas alterações de texto inúteis antes que o artigo chegue a ser revisado. É importante observar que essas alterações não afetam de forma alguma a qualidade do artigo, bastando apenas para se adequar ao formato da revista.



É importante notar que apesar da falta de limites de tamanho razoáveis ​​para as revistas modernas - elas são publicadas online - o número de revistas diferentes só está crescendo. Todas as editoras criam mais e mais revistas. Ao mesmo tempo, como observado anteriormente, tal diversidade não se justifica pelo surgimento de novas áreas do conhecimento - os cientistas modernos não leem o periódico inteiro, mas procuram os artigos necessários em bases de dados especiais (como Scopus ou PubMed).

Avaliação do editor

Acrescentarei alguns comentários sobre a avaliação do editor sobre o artigo. O editor é a pessoa que decide se a revista publicará ou não seu trabalho. Ele pode recusar em qualquer fase por qualquer motivo. O editor está interessado nos artigos de maior sucesso que serão ativamente citados. Isso significa que os editores selecionam os artigos de acordo com certas características, enquanto outros artigos, ao contrário, se encontram em uma posição muito desvantajosa. Editores são atraídos por tópicos exagerados, nomes notáveis ​​de cientistas, correspondência dos resultados com o curso atual, novos métodos e grandes quantidades de dados que outros pesquisadores podem usar. Por outro lado, campos estreitos da ciência, autores desconhecidos e métodos simples podem se tornar um fator negativo. Deve-se notar que muitas vezes isso não tem nada a ver com a qualidade da pesquisa, mas apenas reflete seu tema.



O editor toma uma decisão após ler o artigo (ou parte dele), mas normalmente você não receberá comentários detalhados dele. Se o editor rejeita o artigo, muitas vezes o motivo é a novidade científica insuficiente, a inconsistência com o tema da revista. O trabalho do editor é completamente opaco: você não sabe se ele leu o artigo inteiro ou apenas o resumo, com base em quais critérios avalia a novidade da pesquisa, e assim por diante. Também é impossível discutir com o editor se o artigo é rejeitado pelo editor, geralmente é enviado para outro periódico.



Também pode ser observado aqui que a relação pessoal do editor com os autores do artigo às vezes pode influenciar sua decisão.

Revisão (quem, por que e quanto)

A revisão por pares é a parte mais importante do processo de publicação científica. É por meio da revisão por pares que podemos confiar no resultado da pesquisa até certo ponto. Sem verificar o artigo, bastava fazer o upload para o Habr (e, talvez, a cobertura seria ainda maior). Portanto, é surpreendente que todo custo de publicação vá para o funcionamento da revista e para o lucro. Os revisores trabalham de graça e não recebem nada por seu trabalho. Além disso, os revisores fazem isso em seu tempo livre, porque eles próprios são cientistas e precisam conduzir suas pesquisas. Esse sistema funciona às custas da responsabilidade coletiva: hoje você analisa o artigo e amanhã precisará da revisão. Mas permanece o fato de que a revista recebe gratuitamente não só o conteúdo, mas também a competência dos revisores.



Como funciona a revisão? O editor, tendo examinado o seu artigo, seleciona revisores adequados - cientistas que não colaboram com os autores do artigo, mas que trabalham na mesma área. Os revisores recebem o texto do editor e enviam seu feedback a ele. A identidade dos revisores não é divulgada aos autores do artigo, toda a correspondência é anônima.





Depois de estudar cuidadosamente o artigo, os revisores sugerem mudanças que precisam ser feitas - correções de redação, controles adicionais e experimentos. Um bom revisor pode melhorar muito um artigo. Depende muito de quem está revisando seu artigo. Com que precisão o revisor verificará os cálculos? Como examinar cuidadosamente os materiais e bancos de dados adicionais? Irá verificar os testes estatísticos e métodos usados? Como sempre há dois ou três revisores, o papel de cada um é muito importante.



Também há espaço para abusos. O revisor pode pedir que você cite o artigo dele ou escreva avaliações negativas porque discorda de sua posição, sem depender da qualidade real da pesquisa.



Os autores podem debater com os revisores - não é necessário aceitar totalmente todas as suas alterações. Mas publicar o artigo em sua forma original, completamente sem correções, é quase impossível. Na maioria das revistas, as correções são feitas no texto do artigo, e a correspondência com os revisores não está disponível para ninguém, exceto os autores. Ou seja, você não consegue descobrir o que exatamente foi alterado pelos revisores.





^{Eu removi quase todos os quadrinhos sob o spoiler, mas esta imagem explica perfeitamente o que acontece após a análise.}

Tempo de espera

O que os autores estão fazendo enquanto a revisão está em andamento? Mas nada, eles estão esperando feedback. Claro, neste momento, a pesquisa continua nos projetos a seguir, mas muito pouco é feito no artigo sobre a auditoria de experimentos.



Quanto tempo leva? A revisão do artigo pelo editor (antes do envio aos revisores) leva de uma semana a um mês. Às vezes vale a pena lembrar o editor sobre o seu artigo, então o processo é acelerado. A auditoria pode durar de um a seis meses. Deve-se entender que o trabalho do revisor não é remunerado, portanto, muitos se recusam a fazer uma revisão. Além disso, pode ser difícil encontrar um revisor sem conflito de interesses e um especialista na área do artigo. Portanto, em alguns casos, leva muito tempo para encontrar revisores. Em situações excepcionais, o editor não consegue encontrar revisores, o que atrasa ainda mais o processo.



Por que isso pode ser um problema? Ressalta-se aqui que muitas vezes são necessários artigos para relatórios de bolsas, alunos de pós-graduação precisam de publicações para defesa, às vezes o autor de um artigo logo muda de local de trabalho - muitas vezes há um ou outro prazo para a publicação da pesquisa. É claro que é errado publicar um artigo inacabado. Mas o spread em até seis meses torna muito difícil o planejamento do trabalho.



A revisão pode levar várias rodadas. Após as alterações serem feitas, os revisores podem solicitar experimentos adicionais. Como resultado, a revisão pode levar vários anos.





^{E não é uma piada.}

Reprodutibilidade

Este é um problema muito grande para o processo científico em si. A "crise de reprodutibilidade", especialmente nas ciências médicas, é um dos obstáculos mais importantes para o desenvolvimento rápido e qualitativo da ciência. Este tópico já foi discutido em detalhes suficientes sobre Habré ( um e dois ), portanto, aqui iremos apenas discutir a influência do sistema de publicação atual sobre isso.





^{Fatores que dificultam a reprodução dos resultados. Setas escuras são algo que pode ser corrigido durante a revisão e publicação. Setas claras indicam fatores indiretamente relacionados às publicações.}

E essa influência é grande. Na foto, as setas indicam os principais motivos da baixa reprodutibilidade, que estão associados ao funcionamento dos magazines. É o editor do artigo quem deve verificar a presença do código, a disponibilidade de dados na base de dados, a descrição dos métodos e todos os materiais necessários. No entanto, muitos periódicos limitam severamente o escopo do artigo, e métodos detalhados simplesmente não cabem no texto principal. Os autores colocam em Materiais Suplementares, mas são muito menos controlados pelo editor e revisores, são mais difíceis de encontrar por referência e podem estar em qualquer formato - tudo fica a critério dos autores.





Curiosamente, é nas revistas mais legais que os artigos são frequentemente publicados onde os métodos não são descritos com detalhes suficientes, links para fontes não funcionam, o código não está disponível e os arquivos mais importantes não estão nos bancos de dados. 





A própria estrutura dos artigos e o processo de publicação levam a uma baixa reprodutibilidade - se você não sabe o que os autores fizeram, não pode repetir. Mas dois outros fatos desempenham um papel ainda maior.



Publique ou pereça. Eu escrevi isso bem no começo, é assim que toda ciência funciona agora. Isso força os cientistas a buscar os resultados mais badalados e publicá-los o mais rápido possível. Ao fazer isso, os vencedores são aqueles que escrevem muitos artigos, não aqueles que fazem pesquisas qualitativas. A pressão de buscar subvenções leva ao fato de que é mais lucrativo publicar com mais freqüência, mesmo que os resultados não possam ser reproduzidos posteriormente. Não importa mais - o artigo foi publicado. E, em alguns casos, isso pode levar à fraude: tanto pequenas travessuras com imagens (como as encontradas no Retraction Watch) quanto falsificação de resultados de artigos inteiros.





E não menos importante - ninguém está interessado em repetir os experimentos de outras pessoas. Essas obras são muito difíceis de publicar e é quase impossível conseguir uma bolsa para isso. Todo mundo quer novas pesquisas. É especialmente benéfico para as revistas publicar artigos que obtenham o máximo de citações possível. A repetição de resultados conhecidos gerará muito menos interesse. Curiosamente, a reprodução da pesquisa de outras pessoas é difícil de publicar, independentemente dos resultados - você confirmou o artigo anterior ou negou.

Usando artigos como medida de frieza

Um problema muito importante do sistema moderno não está diretamente relacionado aos artigos. Como disse no início, as publicações são uma medida do sucesso do trabalho científico e o principal critério para obtenção de bolsas. Este não é um problema em si. A questão é implementação - como avaliar a frieza do artigo? Existem muitos indicadores bibliométricos diferentes. Os mais importantes são o número de citações do artigo e o fator de impacto da revista.



A Contagem de citações de artigos mostra quantas vezes sua pesquisa foi mencionada em outros artigos revisados ​​por pares. Essa é uma característica importante para avaliar a relevância da pesquisa na comunidade científica, um indicador bastante objetivo, mas não sem inconvenientes. O principal problema com este parâmetro é que a citação de um artigo só se acumula depois de alguns meses (para um trabalho muito proeminente) ou vários anos (a versão usual). Ou seja, imediatamente após a publicação de uma publicação, sua importância e influência não podem ser estimadas pelo número de citações.



O fator de impacto de um periódico é a citação média em um ano de todos os artigos publicados nos dois anos anteriores. Ou seja, é a medida média de citação de artigos da revista. Quais são os problemas com este parâmetro? A média é muito sensível a outliers, portanto, um pequeno número da maioria dos artigos citados tem a maior influência no fator de impacto.



Mas o principal problema é que o fator de impacto de um periódico diz muito pouco sobre a qualidade de um determinado artigo naquele periódico. No entanto, esse parâmetro é muito frequentemente usado especificamente para avaliar artigos. O fator de impacto está imediatamente disponível e muitos subsídios o usam para dar a um artigo algum valor de qualidade.



Qual é o problema dessa abordagem? Como você já sabe, a decisão de publicar na revista (ou recusar) é tomada por uma pessoa - o editor. E se ele achar o artigo desinteressante, não exagerado o suficiente ou impróprio para qualquer outro parâmetro, a publicação será recusada. Isso significa que o artigo será submetido a outra revista com fator de impacto inferior. Ou seja, o conteúdo do trabalho não mudou, mas sua avaliação diminuiu, e não pela qualidade do estudo. 

Troca de informações e interação

No final, gostaria de discutir não o problema mais importante, mas sim indicativo. Na verdade, no século 21, os artigos científicos não são muito diferentes do que eram há cem anos. Sim, podemos baixar o artigo da Internet (se você tiver acesso), mas ainda é um documento de texto com fotos. A qualidade das imagens melhorou (embora em algumas revistas você ainda tenha que pagar mais por fotos coloridas), surgiram hiperlinks para fontes de literatura (que por algum motivo não funcionam muito convenientemente), mas isso é tudo. E você lê o texto disposto em colunas, como era no final do século XIX.





^{Artigo desde o primeiro número da revista Nature. Quem conhece esta revista reconhecerá o formato da Carta. Ainda é usado hoje, embora seja completamente inconveniente para a publicação de dados científicos modernos.}

A principal função da revista agora é a hospedagem de PDFs. Isso é menos do que, por exemplo, a Wikipedia faz. Ao mesmo tempo, para um serviço como esse, você precisa pagar vários milhares de dólares por um documento - provavelmente a hospedagem mais cara do mundo.



É claro que estou exagerando, mas hoje em dia existem tantas oportunidades de resenhas, avaliações e agregação de artigos. Você pode fornecer uma plataforma para cientistas discutirem artigos diretamente no site e trazê-los para lá. Se tomarmos Habr como exemplo, então os comentários muitas vezes não são inferiores ao próprio artigo.



Agora, algumas revistas têm a capacidade de comentar, mas quase ninguém usa. Por um lado, porque essa função não é muito conveniente e é implementada pior do que nas aplicações usuais, por outro lado, porque a revista não gasta energia em atrair cientistas e desenvolver tal plataforma.



Parece-me que experiências modernas de diferentes áreas que organizam uma grande quantidade de dados - redes sociais, sites de diretórios (como Kinopoisk), Wikipedia e muitos outros - mudarão a forma como trocamos informações científicas. Os editores estão dando passos tímidos nessa direção, mas estão satisfeitos com a situação atual, não precisam mudar nada.





No final, gostaria de convidar a todos para uma discussão. Escreva se você teve experiências negativas com revistas. Ou talvez você esteja completamente satisfeito com o sistema moderno? Eu ficaria feliz em ouvir sua opinião sobre publicações científicas nos comentários.



E sobre como alguns dos problemas descritos estão sendo resolvidos e o que mais pode ser feito e quais são as perspectivas de desenvolvimento, falaremos com você na próxima vez ( segunda parte do artigo ).

Agradecimentos

Muito obrigado a Olga Zolotareva pelas discussões e ideias para este artigo. Obrigado a Sofya Kamalyan pela ajuda na verificação do texto. E também a todos os colegas com quem discutimos os problemas das publicações científicas.