Un uomo che commette un errore, e non lo corregge, commette un altro errore. La frase, attribuita a Confucio, apre un articolo apparso non molto tempo fa su Infection and Immunity in cui gli autori osservano una correlazione positiva fra numero di ritrattazioni di articoli e impact factor delle riviste e propongono un “indice di ritrattazione”. È giusto e sano ritrattare un articolo quando esso contiene gravi errori o frodi, che possono consistere in plagio di lavori e dati altrui o vere e proprie manipolazioni. Dall’articolo sembra di capire che più una rivista è titolata (alto impact factor) maggiore è il numero delle ritrattazioni effettuate. Il che ovviamente non significa che le riviste migliori riportano più articoli “bacati”; potrebbe anche voler dire che se ne accorgono di più delle alte riviste.

Quale che sia la risposta, è un fatto che le frodi e più in generale le violazioni dell’integrità scientifica, sono diventate endemiche nella ricerca internazionale. Tutti ricordano il caso dell’articolo apparso su Nature e in seguito ritirato sulle cellule Stap (cellule indotte a tornare allo stato staminale mediante esposizione a batteri o particolari condizioni ambientali) che ha portato al suicidio del supervisore della ricerca, il giapponese Sasai. Anche la cronaca italiana non è avara di queste notizie: ultima, in ordine di tempo, l’indagine del tribunale di Napoli sulle presunte falsificazioni di dati di 7 lavori di Federico Infascelli volte a dimostrare la pericolosità su capre e conigli di magici OGM.

Immagini truccate

Quest’ultimo caso nasce da segnalazioni della nota ricercatrice (e senatrice a vita) Elena Cattaneo che aveva osservato alcune stranezze nelle immagini riportate negli articoli. Sospetti confermati da un’analisi condotta da Enrico Bucci, biologo molecolare e fondatore di una azienda di analisi dati (Biodigitalvalley), noto da anni per essere uno dei “fraud buster" italiani che agiscono sul fronte della Research Integrity. Suo anche il bel libro “Cattivi scienziati”, edito da ADD, che analizza in modo accessibile a tutti il mondo della frode scientifica. 

I risultati delle analisi di Bucci sul caso di Infascelli - rese pubbliche da Nature - mostrano uno dei mezzi più utilizzati per alterare i risultati di una ricerca: la manipolazione delle immagini, attraverso plagio, inserzioni, clonazioni di parti. 

"Le frodi in realtà sono di varia natura” racconta Bucci a scienzainrete, “ma certamente quella che passa per l’alterazione delle immagini è quella più palese e utile per convincere della manipolazione prodotta. Non è necessario avere competenze scientifiche: è sufficiente capire di immagini e di come possano essere artefatte da ricercatori poco scrupolosi”. Infatti, riviste importanti come quelle del gruppo EMBO si avvalgano di consulenti provenienti persino dal mondo delle arti figurative o del teatro (leggi qui). “Accorgersi della mistificazione dei dati numerici è più complesso, richiede competenze statistiche, e si presta meno allo scrutinio di una commissione: un’immagine, come si suol dire, vale più di mille parole”, aggiunge ancora Bucci.

Giocare coi dati

Nelle sue ormai numerose analisi della letteratura scientifica, condotte anche per Istituzioni di altri Paesi, Bucci utilizza particolari software capaci di estrarre le immagini o le tabelle dagli articoli scientifici e quindi di analizzarle. A seconda del software utilizzato si possono individuare stiramenti, rotazioni, clonazioni e inserzioni ed altre modifiche che truccano le immagini facendole “rispondere” alle proprie tesi. Per quel che riguarda i dati numerici, in presenza di un numero sufficiente di dati (come nelle pubblicazioni che descrivono trial clinici) ci si può accorgere abbastanza agevolmente se l’autore ha inventato i dati: “la mente umana non è molto abile nel generare numeri con sequenze casuali” spiega Bucci. “Ad esempio, vi sono casi di manipolazioni di dati scoperti vedendo ricorrere nelle tabelle alcuni numeri ad una frequenza impossibile, semplicemente perché gli autori non spostavano le dita dalla tastiera quando popolavano una tabella con dati fabbricati”. Succede anche che ci si accorga di plateali incongruenze, come in un caso recente in cui i dati riportati in tabella - se veri - avrebbero indicato una prevalenza di una malattia 5 volte maggiore di quanto atteso.

I limiti della peer review

L’idea che le riviste peer review siano immuni o quasi dal fenomeno è completamente falsa. “Il processo di peer-review, come hanno scritto più volte riviste importanti non tutela assolutamente dalle frodi (esempio)” continua Bucci. “Il suo scopo infatti è di selezionare gli articoli consistenti con quanto noto in un dato settore, più innovativi e più interessanti dal punto di vista scientifico, non quello di individuare i falsi”. I revisori infatti non hanno spesso né le competenze né il tempo per occuparsi di manipolazioni, e purtroppo non dedicano nemmeno tanta attenzione ai set di dati. “Basterebbe questo, in realtà, per dimezzare i casi di frode” commenta Bucci; “comunque esistono alcuni limiti non superabili da revisori umani, quali la capacità di individuare immagini riutilizzate da vecchie pubblicazioni e magari alterate”.

Un mondo di bari

Ma quanto è diffusa la frode nel modo scientifico? Secondo un recente lavoro condotto da Morten Oksvold su 200 studi di oncologia di base, addirittura un quarto dei lavori avrebbero subito diverse forme di manipolazione. Le analisi di Bucci, condotte su campioni molto più ampi, indicano un range che va dal 4 al 17% dei lavori, con una mediana intorno al 6-7%. “il tasso non dipende dall’impact factor delle riviste” spiega l’autore, “mentre esiste una correlazione fra numero di articoli manipolati e gruppi di ricerca noti per aver ritrattato almeno un lavoro.”

Una visita al sito Pubpeer (che raccoglie segnalazioni anonime di possibili frodi) mostra quanto ampio sia il fenomeno, anche se secondo i dati di Bucci circa un terzo delle segnalazioni si rivelano irrilevanti o non fondate.

Dai dati ottenibili da questo sito, sembrerebbe che l’Italia sia ai primi posti nella classifica delle manipolazioni. Secondo Bucci questo però è un bias di campionamento, derivante dal fatto che i casi emersi in Italia hanno innescato più ricerche che in altri paesi. “Con campioni casuali e ampi l’Italia si rivela nella media, mentre la Cina devia decisamente verso l’alto”, spiega Bucci.

Perché si bara? Verrebbe da chiedere. “Forse andrebbe chiesto perché non si dovrebbe barare, vista la relativa mancanza di controlli, e il fatto che il mondo della scienza è il tipico ambiente darwiniano caratterizzato da un’altissima competizione e scarsità di risorse” ribatte Bucci. La frode, in un certo senso, è anche l’esito estremo di un atteggiamento che vede nella ricerca un far west dove far tornare i risultati attesi ogni costo, nella convinzione che altri successivamente confermeranno quello che si è ipotizzato. "Questa è la negazione del metodo scientifico, perché si tratta di un modo di procedere che poggia sulla convinzione di essere più bravi degli altri e di non aver bisogno di conferme sperimentali per pubblicare. Inoltre, sebbene in ipotesi può anche accadere che le tesi supportate da questi risultati ’truccati' vengano confermati dalla letteratura successiva, questo atteggiamento fa un enorme danno alla comunità di ricerca che cerca di arrivare onestamente per prima a stabilire un certo fatto, esattamente come il doping lo fa allo sport”, commenta Bucci.

In cerca di regole

Riviste e centri di ricerca stanno prendendo coscienza del fenomeno e si stanno dotato di consulenti ed editor specializzati (lo stesso Bucci è editor delle immagini per una rivista del gruppo Nature). Il fenomeno delle frodi è d’altra parte così diffuso da aver spinto anche alcune istituzioni italiane a dotarsi di specifiche linee guida. È il caso del CNR che ha appena pubblicato le "linee guida per l’integrità nella ricerca” che dettano alcune regole ai propri ricercatori dalla progettazione alla pubblicazione degli studi. Anche l’Università di Napoli Federico II, dove sono emersi più casi, si è dotata di regole che prevedono anche vere e proprie sanzioni ai ricercatori.

"Credo sarebbe utile avere una commissione nazionale che controlli periodicamente la produzione scientifica dei centri di ricerca” conclude Bucci. “I gruppi che si comportano scorrettamente andrebbero prima richiamati, dando loro la possibilità di ‘fare pulizia’ nelle loro ricerche, e se persistono esclusi dai finanziamenti alla ricerca e segnalati alle riviste interessate”.

Qualche regola per affinare il proprio senso critico su possibile bufale scientifiche
- se ci si deve occupare di un autore, vedere se è riportato su siti tipo Pubpeer. Con un importante caveat però: non tutti gli autori segnalati sono da responsabili di frodi: un 30% sono oggetto di denunce rivelatesi poi false o per inezie. il sito RetractionWatch commenta invece storie di frode già accertate (assieme ad altri argomenti di Research Integrity).
- importante anche valutare la rilevanza di un articolo in base a quante fonti riportano indipendentemente ed in maniera concorde i fatti descritti dall’articolo sotto analisi (senza citarlo e senza che gli autori siano collegati in alcun modo).
- leggere sempre le dichiarazioni di conflitto di interesse e le affiliazioni riportate per gli autori di ogni articolo scientifico. Tra i possibili conflitti di interesse, attenzione alla presenza nel comitato editoriale della rivista di qualcuno degli autori dell’articolo sotto esame
- cercare smentite, sempre e comunque provenienti da fonti che utilizzano un metodo scientifico per argomentare, alle ipotesi sostenute in un articolo
- la peer review è importante per individuare la qualità di un articolo ma non tutela dalle falsificazioni