La peer review lascia un'impronta nella scienza. Le riviste scientifiche, con i loro sì e con i loro no determinano le sorti delle ricerche che vengono loro sottoposte ogni giorno, filtrano quello che dominerà il panorama scientifico e di cui parleranno i giornali nei mesi e forse negli anni successivi, e condannano all'oblio i frutti di altre ricerche. Perché non tutto può essere pubblicato, o meglio, non tutto può venire pubblicato nelle pagine delle maggiori riviste di scienza del mondo.
Funziona o non funziona questo metodo? La discussione nel mondo scientifico non manca di infiammare gli animi, ma secondo un nuovo studio, pubblicato recentemente su PNAS pare proprio di sì. Secondo gli autori, Kyle Siler, Kirby Lee e Lisa Bero, i cosiddetti gatekeeper, quelli cioè che mettono in atto i meccanismi di peer review, sarebbero in grado di valutare nella maggior parte dei casi l'effettiva qualità dei lavori che vengono loro sottoposti.
Fare bene però – sostengono gli autori – non significa certo essere perfetti. Vi sono infatti dei casi in cui articoli risultati esclusi si sono rivelati alla prova dei fatti delle scoperte scientifiche di prim'ordine o con un numero elevatissimo di citazioni, ma nonostante queste eccezioni, di norma pare che la macchina funzioni, per lo meno per la maggior parte degli studi considerati.

Per permettersi questa affermazione i ricercatori hanno interrogato un dataset composto da 1.008 studi, 946 dei quali rifiutati e 62 accettati dalle tre riviste mediche più in vista: Annals of Internal Medicine, British Medical Journal e The Lancet. Inoltre, 757 dei 946 articoli rifiutati erano stati poi pubblicati su altre riviste con un impact factor minore. In particolare gli scienziati hanno esaminato quante citazioni hanno raccolto gli articoli pubblicati in una di queste tre riviste in 10 anni, dal 2003-2004, anno di pubblicazione degli articoli analizzati, fino al 2014 e quante invece quelli rifiutati e pubblicati in altre riviste. Lo scopo dello studio era esaminare il grado di accuratezza attraverso cui gli editor e i peer reviewers prendevano le loro decisioni.
Il primo aspetto emerso è che i 14 articoli più citati del dataset erano in realtà stati rifiutati dalle tre riviste ad alto impact factor, e 12 di questi addirittura a livello di desk, erano cioè stati reputati già a un primo esame di una qualità tale da non permettere loro di passare alla peer review vera e propria. Secondo gli autori però questo fatto curioso si spiega in maniera semplice: il meccanismo dimostra delle falle quando si trova ad analizzare articoli considerati “non convenzionali”. Gli uncommon work, quelli che si rivelano spesso i maggiori portatori di innovazione e rivoluzione dei paradigmi scientifici sono – precisano gli autori – particolarmente vulnerabili ad essere rigettati dalle riviste, già in una primissima fase.

Questa spiegazione però sembra a tratti contrastare con un altro aspetto emerso nella ricerca e cioè che quello che importa ai gatekeepers è essenzialmente valorizzare la novità, purché questa sia scientificamente corroborata. E proprio la mancanza di novità è, sempre secondo quello che raccontano gli autori dello studio, la ragione per cui i 14 articoli pluricitati di cui si parlava poc'anzi, sono stati in realtà rifiutati dalle tre grandi riviste e dai loro peer reviewer. “Perché anche la percezione della novità può solo essere relativa” si legge, come hanno testimoniato il Premio Nobel per la medicina Rosalyn Yalow, a cui Science rifiutò una pubblicazione, il Premio Nobel per l'economia George Akerlof e addirittura, un riferimento che si ritrova proprio nel paper, la famosa mamma di Harry Potter, J.K.Rowling.

La macchina della peer review pare funzioni bene anche perché si sa correggere. Secondo i risultati ottenuti esaminando la relazione fra quando un articolo è stato pubblicato e il numero di citazioni ricevute, i ricercatori hanno notato che se un editor o un reviewer compie un errore di valutazione, nel sopravvalutare o nel sottovalutare un contributo, il sistema in realtà provvede autonomamente a “dare a Cesare quello che è di Cesare”. “Se uno dei tre grandi giornali rifiuta per sbaglio un articolo di valore, il lavoro in questione finisce infatti comunque per apparire in poco tempo su un'altra importante rivista.

In ogni caso gli errori sono inevitabili e non esiste – precisano gli autori – un revisore che può garantire senza ombra di dubbio una valutazione perfetta ed efficiente. Inoltre, distinguere pessimi articoli è molto più semplice rispetto a individuare quelli davvero eccellenti.

In sintesi, sebbene il sistema di revisione si sia rivelato negli ultimi anni un modo valido per determinare se un contributo è un buon articolo oppure no, si rivela in realtà meno efficiente quando si trova per le mani contributi che potrebbero rivelarsi davvero una svolta per la scienza. Insomma, “la complessità della scienza – si legge nelle conclusioni – è ancora oggi un limite per le abilità predittive anche del migliore fra i peer reviewer.”