«Soltanto quando certi eventi ricorrono in accordo con regole, o regolarità, come nel caso degli esperimenti ripetibili, le nostre osservazioni possono esser controllate – in linea di principio – da chiunque. Non prendiamo neppure sul serio le nostre proprie osservazioni, né le accettiamo come osservazioni scientifiche, finché non le abbiamo ripetute e controllate. Soltanto in seguito a tali ripetizioni possiamo convincerci che non stiamo trattando con una semplice “coincidenza” isolata, ma con eventi che, grazie alla loro regolarità e riproducibilità, possono, in linea di principio, essere sottoposti a controlli intersoggettivi. [...] In realtà l’effetto fisico scientificamente significante può essere definito come quell’effetto che può essere riprodotto regolarmente da chiunque conduca a termine nel modo descritto l’esperimento appropriato».

La faceva facile il filosofo della scienza Karl Popper quando identificava nella regolarità e nella riproducibilità i due pilastri della ricerca scientifica. In realtà, per le scienza biomediche ma non solo, la riproducibilità è una bella gatta da pelare. Secondo alcuni un miraggio.

Chi lo dice? Secondo uno studio di Nature, in media solo fra l’11 e il 25% degli studi in fase preclinica viene replicato per lo sviluppo di un farmaco. In un altro storico studio, i ricercatori della società Amgen non sono stati in grado di riprodurre 47 dei 53 studi di base importanti sul cancro prodotti nelle università.

Secondo l'énfant terrible della metodologia della scienza John Ioannidis "la maggioranza degli studi pubblicati sono falsi" (vedi articolo). Per esempio, a un'analisi retrospettiva di un set di articoli su studi clinici "highly cited", le conclusioni del 16% di questi articoli venivano confutate da successivi articoli, mentre un altro 16% veniva considerevolmente ridimensionato da studi successivi.

Con buona pace di chi crede che le fake news siano un fenomeno essenzialmente giornalistico, emendabili sempre e comunque dalla Scienza.

Trappole della ricerca

Riprodurre uno studio in biologia si scontra con alcune trappole: la complessità dei fenomeni biologici, le condizioni ambientali nelle sperimentazioni animali, la validazione dei reagenti... per non parlare dei veri e propri difetti metodologici degli studi, come la mancata randomizzazione e cecità dei trial.

Sta di fatto che secondo il ben noto dossier di Lancet dedicato al tema, lo spreco nella ricerca ammonterebbe a circa 200 miliardi di dollari all'anno, pari all'85% dell'investimento mondiale in ricerca, dove la mancata riproducibilità degli studi giocherebbe una parte non secondaria insieme ad altri difettacci, come la futilità di molti studi, i conflitti di interesse, l'incompletezza, la cultura della segretezza, e non ultimo la burocrazia che tutto inghiotte.

Che fare allora? C'è chi propone di promuovere anche economicamente la cosiddetta "ricerca della ricerca", per affinare attendibilità e metodi. Oppure chi lancia progetti di riproducibilità, per esempio in campo oncologico, di cui si possono apprezzare i primi risultati.

Per gli olandesi "repetita iuvant"

Lo scorso mese un rapporto dal titolo Replication studies – Improving reproducibility in the empirical sciences, edito dalla Royal Netherlands Academy of Arts and Sciences e coordinato dall'epidemiologo Johan Mackenbach, riflette proprio sul problema della riproducibilità in ambito biomedico e non, prendendo il problema alla lontana: prima di tutto, per gli olandesi, bisogna mettersi d'accordo su cosa significa “riprodurre uno studio”.

A dire il vero la questione linguistica pare ancora più dettagliata: si utilizzano come sinonimi i termini “riproducibilità”, “replicabilità”, addirittura in alcuni casi “robustezza” o “affidabilità” (reliability). In realtà, secondo gli autori dobbiamo anzitutto chiarire la differenza che passa fra parlare di riproducibilità/replicabilità di uno studio e di replicabilità di un’inferenza. 

Aleggia poi su tutto la domanda delle domande: i risultati riproducibili sono necessariamente più verosimili di quelli non riproducibili? A ogni modo – concludono gli autori – di fronte a questo dilemma  meglio scegliere la via della riproducibilità, dal momento che questa, anche se non è indizio automatico del grado di verità, rimane una misura affidabile di quanto la comunità scientifica concordi con la bontà dei risultati che altri hanno prodotto. 

Quando e come replicare uno studio?

Il documento elabora tre motivi che inducono a riprodurre uno studio: quando la posta in gioco è davvero rilevante per l'avanzamento di una disciplina; quando i risultati paiono poco plausibili; quando pensiamo esista un metodo migliore di quello utilizzato per ottenere risultati più completi.

Rimane il punto di come riprodurre uno studio o parte di esso. Gli esperti sollevano a questo proposito due domande:

• è meglio riprodurre un esperimento in maniera completamente indipendente, o è più proficuo collaborare con chi ha eseguito la ricerca in esame, in modo da avere modo di valutare tutti gli aspetti non inclusi nella spiegazione metodologica dell’articolo?
• è meglio replicare un risultato utilizzando lo stesso metodo sullo stesso campione, utilizzare un nuovo campione con le stesse caratteristiche, o cambiare sia il metodo sia il campione? 

Cruciale nel secondo caso se lo studio in esame è stato ben disegnato, oppure se già la fase iniziale è inficiata da errori e lacune.

I consigli pratici per iniziare

I caveat sembrano quindi più dei punti fermi, ma nonostante questo i ricercatori propongono alcune strategie che l’accademia da un lato e i giornali scientifici dall’altro possono mettere in campo per favorire la replicabilità degli studi, con strategie differenziate a seconda che ci si trovi a che fare con ricerche biochimiche, genetiche, precliniche, cliniche, o ancora in settori disciplinari diversi come la psicologia sperimentale o l'economia.

Comuni a tutti sono tuttavia alcune raccomandazioni:

• aumentare l’accuratezza metodologica e la dimensione dei campioni presi in esame, opportunamente armonizzati se provenienti da setting diversi
• migliorare il reporting e la libera condivisione dei dati
• soprattutto incentivare economicamente e con riconoscimenti di carriera la "cultura della riproducibilità" rispetto alla idolatria della "innovatività degli studi".

Anzitutto, secondo gli autori, sarebbe importante favorire la preregistrazione delle ipotesi da testare in un database che contenga tutti i dettagli utili alla replicazione, a partire dai metodi di raccolta dei dati. Per gli studi clinici questo processo è già in corso, non altrettanto per gli studi preclinici. Gli enti di ricerca e le riviste dovrebbero rendere obbligatoria questa registrazione, mentre istituzioni e comitati etici dovrebbero inserirla nelle loro linee guida.

La seconda strategia prevede il miglioramento della qualità della descrizione della metodologia utilizzata nei documenti che poi vengono divulgati. La comunità scientifica – si legge nel rapporto olandese – deve riunirsi ed elaborare linee guida e checklist che indichino chiaramente quali dettagli degli studi devono obbligatoriamente essere riportati.

La terza strategia propone che tutte le riviste accompagnino alla sezione realtiva ai metodi la presenza di archivi con accurate descrizioni dei dati e dei metodi utilizzati da ciascuno studio liberamente consultabili dai ricercatori.

Una maggiore consapevolezza metodologica ed epistemologica da parte dei ricercatori, unita a una propensione degli enti a finanziare replication studies, contribuirebbe ad affrontare al meglio la crisi della riproducibilità della scienza contemporanea.