Un recente numero dell’Economist ha dedicato alla ricerca scientifica la copertina, dove figurava la scritta “How science goes wrong”, e un lungo articolo: ‘Trouble at the lab. Scientists like to think of science as self-correcting. To an alarming degree, it is not’; . Leggendolo, ci si rende conto che in realtà non si parla di ricerca scientifica in generale ma di ricerca biomedica, a parte un fugace cenno a “lavori” di psicologia cognitiva che anche a dire di uno dei padri (D. Kahneman) sono imbarazzanti per capacità di concorrere agli Ig Nobel Prizes.
Nell’articolo si riporta, riferendosi a meta-review apparse in varie riviste scientifiche di punta, quali Nature, Nature Review Drug Discovery e Plos Medicine , di come sempre più spesso si riscontrino casi di lavori pubblicati con risultati che, da un lato, non sono ripetibili e, dall’altro, sono viziati da errori dovuti a incapacità di usare appropriatamente i metodi statistici. Si rivolge, inoltre, il dito accusatore al fatto che non solo gli autori sono da imputarsi di tali “sviste” ma anche i referee che hanno dato giudizi favorevoli alla pubblicazione.
In effetti, andandosi a leggere le meta-review citate, ci si accorge come esse evidenzino che nella comunità dei ricercatori vi siano due “virus” che potrebbero avere seri effetti nocivi: uno è il “virus” della mancanza di sensibilità metodologica, l’altro è quello della mancanza di sensibilità statistica. Il primo ha a che fare con il non prendersi cura, in buona o in cattiva fede, della riproducibilità dei risultati che si presentano. Si noti che questa non è un’accusa basata sul nulla di qualche stolido avversario della scienza, quanto l’infausto esito del lavoro di chi si è preso la briga, senza ritrovare gli stessi risultati, di rifare esperimenti descritti in lavori pubblicati. E questo è grave, dal momento che una delle caratteristiche necessarie dell’impresa scientifica (dai suoi inizi medievali a oggi) è proprio la riproducibilità dei risultati da parte di chiunque ne abbia le competenze e le attrezzature adatte. Già una situazione di non riproducibilità era stata denunciata qualche tempo fa. Ma allora, come si ricorda era il caso relativo al virus modificato N5H1, si trattava di una non riproducibilità dovuta al fatto che volontariamente si volevano omettere dati per timore che bioterroristi potessero farne un uso malvagio (si veda, ‘L'omicidio della scienza e il suicidio degli scienziati’. Ora si tratta di qualcosa di diverso: si forniscono dati e metodi, ma chi li usa per rifare l’esperimento non trova i risultati indicati!
Il secondo aspetto, quello della mancanza di sensibilità statistica, è ampiamente trattato da un articolo fra i più scaricati (ma anche criticato) di Plos Medicine (‘Why Most Published Research Findings Are False’) scritto da un epidemiologo della Stanford University School of Medicine: J. Ioannidis. Qui si mostra che utilizzare la statistica non è affare dappoco ma che servono competenze che vanno al di là di dare qualche comando a un software che fa i conti. In realtà per usarla bene bisognerebbe comprenderne in pieno i fondamenti concettuali.
L’articolo dell’Economist propone anche delle ipotesi sulle cause di questa situazione e riporta di come la comunità scientifica (biomedica) stia cercando di correre ai ripari. Per quanto riguarda le cause, si fa riferimento alla pressione sociale legata al bisogno di pubblicare molto e in fretta per ottenere visibilità, posizioni accademiche prestigiose e fondi per continuare a fare ricerca. E’ certamente vero. Ma sostenere che tutto sia dovuto a questo mi pare sociologismo ingenuo. Da parte mia, mi concentrerei su altre due possibili concause.
1) Da un lato, è la prima volta che ricercatori in ambito di biomedicina si trovano ad affrontare enormi quantità di dati e per la prima volta abbisognano seriamente di competenze statistiche non banali che forse non sono state fornite adeguatamente durante i loro studi. Si pensi a quanta poca statistica si faccia nei corsi di medicina e biologia e di come essa si compendi spesso in una serie di formule e a quanto poco si ponga attenzione, invece, a quelle basi concettuali che permetterebbero di apprezzare fino in fondo, per esempio, la differenza fra un approccio frequentista e uno bayesiano o l’inevitabilità della sottodeterminazione delle ipotesi statistiche rispetto ai dati.
2) Dall’altro lato, sempre meno si pone attenzione alle questioni metodologiche di fondo, ossia a che cosa significhi fare un esperimento, a che cosa voglia dire raccogliere dati e interpretarli, a quale sia il valore conoscitivo di quei dati e delle ipotesi che li interpretano, a quale sia il ruolo metodologico di un esperimento in fase di scoperta e in fase di controllo, a quanto importante sia fornire ogni indicazione per la riproducibilità dei processi sperimentali messi in atto, a quanto necessario sia cercare di vagliare quanto essi valgano, magari usando vie indirette, e alla questione della sensibilità dei risultati alle ipotesi (e ai software) adottate.
Ma sia capire i fondamenti concettuali della statistica, sia capire le basi metodologiche dell’esperimento comporta fare delle riflessioni di filosofia della scienza, che lo si voglia o meno, che piaccia o meno. Ed è, a mio avviso, proprio qui il problema: la mancanza di una preparazione culturale seria di tipo epistemologico; ovvero, se non si educano i futuri ricercatori anche a riflettere filosoficamente sui fondamenti di ciò che andranno a fare, poi non ci si può lamentare se hanno poca sensibilità metodologica o poca sensibilità statistica. Queste sono conseguenze inevitabili.
Per quanto riguarda i rimedi proposti, c’è da rimanere un po’ sorpresi. Da un lato, si cerca di aumentare la sensibilità statistica dei ricercatori offrendo loro un supporto educativo, come fa Nature methods che ha lanciato una sorta di tutorial online. Dall’altro, c’è chi organizza un servizio di accreditamento della effettiva riproducibilità sperimentale.
Tuttavia, così significa implicitamente riconoscere che alcuni ricercatori biomedici non sanno fanno il loro mestiere, soprattutto che non sanno produrre risultati ripetibili e validarli statisticamente in modo corretto. Eppure, forse, basterebbe poco per risolvere alla radice questi problemi culturali. Basterebbe, infatti, capire che la riflessione filosofica, se ben fatta, non è qualcosa per perditempo o per scienziati in pensione, quanto uno strumento necessario che dovrebbe essere insegnato e applicato per migliorare la ricerca (o, almeno, per mantenerla a uno standard accettabile). Nota per evitare fraintendimenti: qui sopra non sostengo che i ricercatori in ambito biomedico siano “scarsi” (ci mancherebbe), ma che qualcosa non sta funzionando come dovrebbe e che chi sa come le cose funzionano metodologicamente e statisticamente dovrebbe incoraggiare la riflessione (ahimè, epistemologica) sui fondamenti anche fra i più giovani.
