Riflessioni sulla crisi della letteratura scientifica

Qui su Butac, quando possibile, basiamo la nostra conoscenza sulla letteratura scientifica, che è di solito la fonte di informazioni di più alta attendibilità. In effetti, le pubblicazioni scientifiche sono un componente critico dell’avanzamento della conoscenza scientifica e, attraverso la diffusione dei risultati della ricerca, la comunità scientifica è in grado di consolidare la conoscenza pregressa o costruirci sopra, facendo così nuove scoperte.

La crisi…

Oggi vorremmo portare alla vostra attenzione un fatto importante: la letteratura scientifica sta attraversando una crisi. 

Anche supponendo che vi sia completa onestà da parte di editori e revisori, il sistema editoriale attuale per i documenti scientifici presenta numerose limitazioni. In questo articolo esamineremo il sistema editoriale attuale per i documenti scientifici, focalizzandoci sui problemi esistenti e suggerendo possibili modi per affrontarli e migliorare la qualità e l’integrità della pubblicazione scientifica.

Quale è il processo?

Il processo editoriale per i documenti scientifici comprende solitamente le fasi di formattazione del documento, presentazione (submission), verifica editoriale, revisione tra pari (peer review), revisione delle bozze e pubblicazione. Gli editori di riviste e i revisori peer svolgono un ruolo cruciale in questo processo, poiché idealmente aiutano a garantire la qualità e la validità della ricerca che viene pubblicata.

Le limitazioni

Tuttavia, una delle più grandi limitazioni del sistema editoriale attuale è proprio la mancanza di trasparenza di questo processo. Questa mancanza di trasparenza può portare a decisioni basate su pregiudizi e conflitti d’interesse, poiché i revisori potrebbero essere più propensi ad accettare documenti che portano loro qualche tipo di vantaggio, ad esempio sostenendo le loro ipotesi o citando le loro precedenti pubblicazioni. Inoltre, c’è spesso un notevole ritardo di tempo tra presentazione e pubblicazione, anche diversi anni, e questo può ritardare anche la diffusione di importanti scoperte.

Un’altra limitazione del sistema editoriale attuale è l’esistenza di gruppi sottorappresentati nella comunità scientifica, come gruppi minoritari. Ciò può portare a una omogeneità di prospettive e a una mancanza di diversità nei tipi di ricerca condotta e pubblicata. Nel campo della psicologia, ad esempio, è stata notata una tendenza a ritenere più universalmente significativi studi basati su popolazioni europee o nord-americane rispetto a popolazioni di altri continenti, come se esistesse uno standard meritevole di maggiore copertura.

Le riviste ad alto impatto

La pressione di pubblicare sulle così dette “riviste ad alto impatto” può portare a una attenzione verso alcuni settori, poiché i ricercatori potrebbero essere più propensi a concentrarsi sulla produzione di pubblicazioni che è probabile che vengano accettate da queste riviste. Tutto ciò accade anche a livello editoriale: gli editori di riviste rinomate tendono a rifiutare un maggior numero di lavori, concentrando la loro attenzione sui manoscritti che hanno maggiore probabilità di attirare l’attenzione dei loro lettori. Questo significa che né gli autori né gli editori ottengono particolari vantaggi a pubblicare uno studio magari innovativo e corretto ma in un settore di nicchia con un basso numero di potenziali lettori, generando una sovraproduzione (spesso estremamente ripetitiva) in poche aree cosiddette “di tendenza”.

L’impact factor

Una delle più grandi false verità diffuse in ambito accademico è la importanza dell’impact factor come misura universale della qualità della rivista. Questa singola metrica, basata unicamente sul numero di citazioni ricevute per singolo articolo pubblicato negli ultimi anni, non riesce infatti a catturare le molte sfumature e complessità della pubblicazione scientifica e può portare a una concentrazione sul progresso a breve termine invece che su avanzamenti più significativi a lungo termine, avvantaggiando le riviste generalistiche a discapito di quelle di settori specifici, soprattutto se di nicchia.

La validazione statistica

Un’altra criticità del sistema editoriale attuale è il peso dato alla validazione statistica dei risultati. Sebbene la significatività statistica sia un aspetto importante della ricerca, aumentando la confidenza e quindi la credibilità di un particolare risultato, non dovrebbe essere l’unico fattore considerato nella determinazione della validità e dell’importanza dell’intero studio. La necessità di fornire a ogni costo dati con confidenze elevate ha portato molti gruppi di ricerca a manipolare la statistica nel modo più conveniente, il che può portare ad esempio a una proliferazione di risultati falsi positivi che non possono poi essere replicati da altri ricercatori. Uno di questi abusi dello strumento statistico, recentemente molto discusso, è l’uso improprio del p-value, chiamato a volte “p-hack” e consiste nella modifica postuma delle ipotesi di partenza in modo da far sembrare statisticamente significativi risultati che sono in realtà simili tra loro alle condizioni stabilite inizialmente. I p-value vengono così spesso utilizzati per sopravvalutare la significatività dei risultati e possono portare a un falso senso di sicurezza nella validità delle scoperte. Sarebbe essenziale che ricercatori e editori avessero una migliore comprensione dell’uso corretto della statistica e che adottassero misure per garantirne un uso adeguato nel processo editoriale, ma questi metodi sono in realtà insegnati solo di rado ai giovani ricercatori.

Le riviste predatorie

Un altro significativo problema nel sistema editoriale attuale è la diffusione delle così dette riviste predatorie e semi-predatorie. Queste riviste spesso operano fuori dal processo tradizionale di pubblicazione scientifica e privilegiano il profitto sulla qualità e validità della ricerca che pubblicano. I ricercatori possono essere invogliati a mandare il proprio lavoro a queste riviste a causa dei loro claim di tempi di pubblicazione rapidi e bassi costi di pubblicazione, ma i risultati pubblicati in queste riviste sono spesso poco affidabili e non soggetti a un adeguato processo di peer-review. Recentemente simili accuse sono però state mosse anche contro riviste appartenenti a gruppi editoriali rinomati, dato che la qualità media delle revisioni tra pari sembra essere in costante declino a fronte di un numero di articoli da valutare in costante crescita, e considerando che i gruppi editoriali hanno comunque come fine il profitto. Ciò può avere conseguenze serie per la comunità scientifica, poiché mina la credibilità della ricerca pubblicata e può portare alla diffusione di informazioni false o ingannevoli.

I “punteggi”

Dall’altro lato gli autori hanno necessità di aumentare i loro “punteggi” per avere maggiori probabilità di trovare una posizione permanente in accademia. Il più famoso di questi punteggi è probabilmente l’h-index, ma qualsiasi metodo di misura si scelga si finisce per scontrarsi con lo stesso problema, l’effetto “publish or perish”. In effetti, i ricercatori sono sotto sempre più pressione per pubblicare il loro lavoro, allo scopo di avanzare nella loro carriera e ottenere finanziamenti. Questa mentalità può portare, tra le altre cose, a una focalizzazione sulla quantità piuttosto che sulla qualità e all’urgenza di pubblicare il lavoro senza effettuare le necessarie revisioni. Questa pressione può anche portare a una serie di comportamenti non etici, come il plagio e la manipolazione dei dati, poiché i ricercatori si sentono obbligati a tagliare gli angoli per pubblicare il lavoro. Il risultato è una possibile proliferazione di risultati non affidabili che mettono in discussione la credibilità dell’impresa scientifica nel suo insieme. Non che gli indici bibliometrici siano completamente privi di funzione, ma è importante leggerli con spirito critico e ricordare la Legge di Goodhart: “Quando una misura diventa un obiettivo, cessa di essere una buona misura”. Possiamo usare gli indici bibliometrici per confrontare ad esempio due ricercatori, ma solo a patto di comprendere bene i limti di questo strumento.

Per affrontare questi problemi, sono state proposte diverse iniziative per migliorare il sistema editoriale attuale per i lavori scientifici. Una delle iniziative più efficaci è stata l’utilizzo di pubblicazioni pre-stampa in sostituzione (o anche solo in parallelo) alle riviste open-access a pagamento, che consentono processi di revisione tra pari più trasparenti ed efficienti e possono aiutare a ridurre il tempo di attesa tra la presentazione e la pubblicazione. Ma anche se nate con le migliori intenzioni, queste iniziative hanno presto attirato l’attenzione di quei ricercatori che, non trovando altro modo di pubblicare una loro ricerca, ne hanno distorto lo scopo rendendole un modo per diffondere studi altrimenti impubblicabili.

Si stanno inoltre facendo sforzi per cercare di aumentare la rappresentanza di gruppi sottorappresentati nella comunità scientifica e per sostenere non solo ricerche innovative e incisive, ma anche gli studi di base che generano meno interesse generale. Infine, c’è una crescente coscienza dell’importanza della replicabilità e riproducibilità nella ricerca scientifica, e si stanno intraprendendo sforzi per garantire che questi principi siano prima di tutto insegnati e poi anche rispettati nel processo editoriale.

Concludendo

In conclusione, sebbene il sistema attuale per la pubblicazione di lavori scientifici sia un elemento fondamentale per far avanzare la conoscenza in un campo, ci sono diversi problemi e difetti che richiedono attenzione. Le possibili fonti di queste difficoltà potrebbero essere la persistente mancanza di finanziamenti per la ricerca e una pressione culturale tossica che enfatizza i risultati privi di significato e non tollera gli errori. Dalla mancanza di trasparenza nel processo di revisione tra pari, alla diffusione di riviste predatorie, alla pressione per pubblicare, questi problemi possono minare la credibilità e l’integrità dell’impresa scientifica.

Come BUTAC e come individui appassionati del progresso della società, crediamo che sia fondamentale discutere di questi problemi, non solo per supportare la ricerca di possibili soluzioni, ma anche creando una maggiore consapevolezza della realtà scientifica nella popolazione, nella speranza che si renda capace di giudicare, almeno grossolanamente, qualità e attendibilità delle pubblicazioni scientifiche. Affrontando seriamente queste questioni, e implementando misure per migliorare sia l’educazione che il processo di pubblicazione, possiamo cercare di garantire che i risultati riportati in pubblicazioni scientifiche abbiano buoni standard di qualità e, quando non possibile, filtrare il materiale disponibile con spirito critico, così da ampliare la nostra conoscenza del mondo con prodotti scientifici attendibili e di qualità.

Pietro Arina con la collaborazione di Elia Marin

Se ti è piaciuto l’articolo, sostienici su Patreon o su PayPal! Può bastare anche il costo di un caffè!
Un altro modo per sostenerci è acquistare uno dei libri consigliati sulla nostra pagina Amazon, la trovi qui.