Achados feitos em pesquisas que não podem ser confirmados em experimentos repetidos são citados 153 vezes mais frequentemente por causa do interesse da pesquisa.
Artigos reproduzíveis nas principais revistas de psicologia, economia e ciência são frequentemente os artigos mais citados na pesquisa acadêmica, de acordo com um novo estudo da Universidade da Califórnia, San Diego e da Redy School of Management. A falha em reproduzi-los geralmente significa que são menos prováveis de serem verdadeiros.
Publicado na Science Advances, o artigo explora a atual "crise da reprodutibilidade", cuja essência é esta: muitas descobertas nos campos das ciências sociais e da medicina não são confirmadas quando os experimentos são repetidos por outros pesquisadores.
O artigo diz que as descobertas feitas em pesquisas que não podem ser confirmadas por experimentos repetidos têm um impacto maior no longo prazo. Via de regra, estudos questionáveis são citados como se seus resultados fossem verdadeiros, muito depois de se descobrir que os resultados da publicação não podem ser reproduzidos.
“Também sabemos que os especialistas são bons em prever quais artigos serão reproduzíveis”, escreve a professora de economia e estratégia Marta Serra-Garcia e o professor de economia comportamental Uri Gnisi da Redy School. “Sabendo dessas previsões, fazemos a seguinte pergunta: 'Por que esses artigos não reproduzíveis são aceitos para publicação?'”
Talvez a resposta seja que as equipes de revisão de periódicos científicos são forçadas a se comprometer. Quando os resultados são "mais interessantes", são menos rígidos quanto à sua reprodutibilidade.
A ligação entre o interesse das descobertas e a não reprodutibilidade do estudo também pode explicar porque são citados com muito mais frequência - os autores descobriram que artigos reproduzidos com sucesso são citados 153 vezes menos do que os não reproduzíveis.
“Artigos interessantes ou envolventes também são mais comentados na mídia e publicados em plataformas como o Twitter, gerando muita atenção, mas isso não os torna verdadeiros”, diz Gneesey.
Serra García e Gnisi analisaram dados de três projetos conhecidos que testam sistematicamente a reprodutibilidade das descobertas das melhores revistas de psicologia, economia e ciências naturais (Nature e Science). No campo da psicologia, apenas 39% dos 100 experimentos foram reproduzidos com sucesso. Em economia, 61% dos 18 estudos foram replicados e 62% dos 21 estudos publicados na Nature / Science foram replicados.
Com os dados de reprodutibilidade desses três projetos em mãos, os autores usaram o Google Scholar para testar se os estudos não reproduzíveis eram citados com mais frequência. Eles realizaram o estudo antes e depois da publicação dos resultados dos projetos de teste de reprodutibilidade. A maior lacuna foi encontrada para artigos publicados na Nature / Science: artigos com resultados não reproduzíveis foram citados 300 vezes mais do que aqueles com resultados reproduzíveis.
Os autores então decidiram levar em consideração várias características dos estudos reproduzíveis, como número de autores, proporção de autores do sexo masculino, detalhes experimentais (local, idioma e implementação online) e o escopo em que os artigos foram publicados - a relação entre reprodutibilidade e citações permaneceram as mesmas. ...
Eles também demonstraram como a influência dessa citação cresce com o tempo. A contagem de menções para o ano mostra uma clara lacuna entre artigos reproduzíveis e não reproduzíveis. Em média, os artigos que não podem ser reproduzidos são citados 16 vezes mais por ano. Essa lacuna persistiu mesmo após a publicação dos dados de reprodutibilidade do projeto.
“Notavelmente, apenas 12% das menções em artigos publicados após verificações de reprodutibilidade são sobre tentativas de reprodução malsucedidas”, escrevem os autores.
O impacto de um artigo impreciso publicado em uma revista de prestígio pode durar décadas. Por exemplo, um estudo publicado por Andrew Wakefield no The Lancet em 1998 levou dezenas de milhares de pais ao redor do mundo a pegar em armas contra as vacinas contra o sarampo, caxumba e rubéola, apontando para uma possível ligação entre vacinas e autismo. O artigo foi retirado pelo The Lancet 12 anos depois, mas afirmações sobre a conexão da vacina contra o autismo continuam a ser publicadas.
Os autores acrescentam que periódicos e cientistas podem se sentir pressionados a publicar descobertas interessantes. Por exemplo, ao decidir sobre a promoção de funcionários, a maioria das instituições científicas usa a citação como uma métrica importante.
Essa também pode ser a origem da “crise de reprodutibilidade” identificada no início da década de 2010.
“Esperamos que nossa pesquisa motive os leitores a serem cuidadosos ao ler algo interessante e envolvente”, diz Serra Garcia. “Quando os pesquisadores citam trabalhos interessantes ou citados com frequência, gostaríamos que os pesquisadores verificassem os dados de reprodutibilidade e pensassem sobre quais conclusões podem ser tiradas de suas descobertas.”
Gneesey acrescenta: "Nos preocupamos com pesquisas de qualidade e queremos que seja verdade."
Propaganda
Os Epic Servers são VPS confiáveis com poderosos processadores AMD EPYC e armazenamento em disco rápido baseado em discos Intel NVMe. Todos podem criar uma tarifa para si próprios!
Junte-se ao nosso chat do Telegram .
