Forse il titolo poteva essere più generoso: si tratta in fin dei conti di un esperimento che, nel panorama della ricerca Italiana, si può ben dire rivoluzionario. Stiamo parlando dei circa 28 milioni di euro appena assegnati del Ministero della Salute a una cinquantina di progetti presentati da ricercatori italiani al di sotto dei 40 anni. Già l’idea di offrire una corsia preferenziale a chi non ha accesso al potere che domina l’ambiente della ricerca è senza precedenti (in Italia, s'intende, perché fuori è invece la regola). Ma la cosa più rivoluzionaria è stato il processo di valutazione, garante di indipendenza e trasparenza. In Italia bandi con caratteristiche simili si sono visti solo da parte dell'Agenzia italiana del farmaco (AIFA), di Telethon e pochi altri: simili, ma non eguali. Perché, e questa è stata la grande novità, per tutelare indipendenza e trasparenza di valutazione nel difficile contesto italiano, il bando del Ministero della Salute si è rimesso addirittura agli Istituti Nazionali della Salute degli Stati Uniti (i mitici NIH). Va ringraziato per questo Toni Scarpa, il personaggio che degli NIH dirige l’intero sistema di valutazione: si è offerto di mettere a disposizione le enormi risorse (e l’enorme knowhow) dell'agenzia statunitense per valutare i progetti così come si valuterebbero negli Stati Uniti: dove, come si sa, meritocrazia e trasparenza nella valutazione della ricerca sono da sempre ovvie.

IL MECCANISMO

Al Fondo erano pervenute 997 domande : non dalle Università, che non erano ammesse al bando, ma da giovani ricercatori attivi in enti ed istituti di ricerca biomedica e clinica di vario tipo, come gli Istituti zooprofilattici sperimentali, gli Istituti di ricovero e cura a carattere scientifico, l’Istituto Superiore di Sanità, e altri ancora. Scarpa aveva assegnato i 997 progetti a 424 “referees”, i cui nomi aveva messo in rete. Ogni progetto era valutato da tre refereee , a cui era chiesto di esprimersi sulla qualità scientifica del progetto, sulla sua originalità, sulla metodologia, sulle possibilità “traslazionali”, e naturalmente sul profilo del proponente: a ogni parametro era attribuito un punteggio da 1 (il migliore) a 5 (il peggiore). La somma dei punteggi determinava il voto finale che il referee assegnava al progetto e la media dei voti dei tre revisori formava alla fine il punteggio. La trasparenza dell’intera operazione è stata assoluta, dato che tutto, titoli e autori dei progetti, punteggi parziali e complessivi, classifica finale dei progetti, era disponibile liberamente in rete. Direi perciò che, da tutti i punti di vista, l’esperimento sia stato positivo, e, cosa importante per la ricerca italiana, innovativo.

I LIMITI DEI VALUTATORI STRANIERI

Ho però anche accennato ad alcune ombre, ed eccone qualcuna. Vi è stata certamente assoluta trasparenza, ma sulla meritocrazia il discorso è un tantino più complesso. Toni Scarpa non me ne voglia, ma non sono proprio sicuro che tutti i 424 referee avessero la competenza e soprattutto l’esperienza necessarie per garantire una valutazione professionalmente completa. Mi sono preso la briga di cercare su Google una dozzina di nomi a caso, e devo dire che non ho trovato granché in fatto di profili. Chiaro che fare di meglio non era facile, avendo a che fare con 997 progetti, e dovendo garantire almeno tre differenti valutazioni a ognuno. Ma essere valutati da post-docs alle prime armi (perché in molti casi, da quel che si può capire, è stato così) non è proprio il massimo. Anche se ognuno dei 424 referees ha operato solo secondo coscienza, in assoluta buona fede. Ma questa è, diciamo così, un’ombra da poco, e comunque ineliminabile sotto tutte le latitudini.

IL SECONDO PANEL

Ve n’è però un'altra “ombra” che è più sostanziale, e su questa occorre soffermarsi un po’ più a lungo. Alla fine del processo di valutazione da parte dei valutatori statunitensi, si è deciso, suppongo per sopperire a possibili incomprensioni legate alle peculiarità del sistema Italia, di costituire un secondo panel con il compito di rivedere i risultati della valutazione NIH e di correggerne eventuali errori tecnici. Questo secondo panel comprendeva 10 membri, di cui 2 erano italiani attivi in Italia, 5 italiani attivi all’estero, e 3 erano ricercatori stranieri attivi in Europa: anche in questo caso tutti i nomi erano disponibili in rete. Il secondo panel ha di fatto apportato ovvie correzioni “cosmetiche”, per esempio quando i referee NIH avevano invertito i punteggi (considerando 5 il migliore, non il peggiore). Ma in una settantina di casi mancava il giudizio del terzo referee NIH, e il secondo panel ha provveduto a formularlo: non sempre però, ed ecco il punto, in accordo con la media dei punteggi dei due revisori americani. Il che non ha comportato danni nel caso di progetti che in ogni caso erano lontani dalla soglia di finanziamento . Ma in alcuni casi ha invece comportato l’uscita di un progetto dall’ area finanziata, o il suo ingresso in essa. E in alcuni casi il secondo panel ha fatto ancora di più: per esempio, in un caso ha deciso che le valutazioni dei referee statunitensi 1 e 2 “deserve to be more modest”, e ha deciso di abbassarle, provocando l’uscita del progetto dall’area finanziata. In un altro caso ha fatto l’opposto, e questo caso mi ha colpito in modo particolare, perché il secondo panel ha aggiunto (in maiuscolo) che il progetto “DOVEVA” essere finanziato. E vi è stato un altro caso veramente singolare: un progetto aveva ricevuto votazioni molto alte da due dei tre valutatori americani, e giudizi molto lusinghieri anche dal terzo. Senonché quest’ultimo aveva assegnato al progetto un voto pessimo, che lo portava fuori dall’area finanziabile, con la strabiliante motivazione che il proponente, pur essendo al di sotto dei 40 anni, aveva un curriculum eccezionale (165 pubblicazioni!), e quindi non poteva essere considerato un “giovane” ricercatore ! Bene, di fronte a questa evidente bizzarria il secondo panel ha sì deciso di migliorare il voto , ma non in modo sufficiente per portarlo dentro all’area finanziabile, avallando, di fatto, la stupefacente decisione negativa dei primi tre valutatori. Qualche ombra, quindi, vi è stata, e bisognerà, se gli NIH accetteranno di ripetere l’operazione nei prossimi auspicabili bandi, cercare di porvi rimedio. Siccome la direzione è senz’altro quella giusta, vi è solo da sperare che qualche ragionevole critica non divenga il pretesto per buttare il bambino con l’acqua sporca.

CHI TROPPO E CHI POCO? ANALISI DEI VINCITORI E DEGLI ESCLUSI

Resta ora da trarre qualche conclusione generale dall’analisi dei risultati del bando: disaggregare i dati disponibili non è facile, ma vale la pena di farlo, perché si scoprono cose molto interessanti sulla situazione della ricerca biomedica in Italia. Salta subito agli occhi, per esempio, che le Regioni del Nord hanno fatto la parte del leone nei finanziamenti ricevuti: 36 dei 57 progetti finanziati provengono da Lombardia, Liguria , Piemonte, Veneto, Trentino-Alto Adige, Emilia-Romagna. Qui la Lombardia ha vinto alla grande, con 22 progetti finanziati. Il Centro Italia ha avuto 15 successi (11 nel Lazio), il Sud e le Isole 6 (2 ciascuno Sicilia e Puglia). Già questo è un panorama che dice qualcosa sulla distribuzione della ricerca biomedica di livello competitivo in Italia. Ma continuando a disaggregare i dati emergono altre cose interessanti: circa il 12% dei progetti presentati dalla Lombardia sono stati approvati, contro solo circa il 6% di quelli presentati dal Lazio. E si nota anche che nessuno dei circa 70 progetti presentati da ricercatori di quattro regioni - Marche, Friuli-Venezia Giulia, Sardegna, Basilicata - è stato finanziato. Andando più nello specifico, si vede che l’ente di maggior successo è stato l’Istituto San Raffaele, con 11 approvazioni (8 da Milano, 3 dalla sede di Roma) su 51 progetti presentati (circa il 25%). Percentuali molto alte di successo hanno anche avuto lo IEO di Milano (4 su 10) e l’Istituto clinico Humanitas, sempre di Milano (3 su 8). All’estremo opposto troviamo l’Istituto superiore di sanità, che aveva presentato ben 75 progetti, solo uno dei quali è stato approvato! I dati, prendendoli così come stanno, dicono in modo chiaro che un forte gradiente Nord/Sud domina la ricerca biomedica competitiva in Italia. Fotografano una situazione alla quale occorrerà cercare di porre rimedio. Però non ho scritto “prendendoli così come stanno” tanto per scrivere: perché, anche se sull’esistenza del gradiente non si può discutere, occorre forse andare un poco più a fondo. Ora, tutti sappiamo che al San Raffaele sono bravi: ma che il rapporto di 51 a 11 tra progetti presentati e progetti finanziati (22%), a fronte di quello di 75 ad 1 dell’Istituto Superiore di Sanità (poco più dell’1%), rifletta il reale valore relativo del lavoro nei due enti di ricerca pare francamente difficile da sostenere. E potrei ripetere pari pari il discorso comparativo per altri enti. Sicché il dubbio può sorgere (di fatto in me è sorto) che nella valutazione abbiano avuto un ruolo fattori non direttamente, o non solamente, legati alla qualità del progetto, quali la popolarità di certi temi di ricerca (stavo per scrivere le mode…), la visibilità del luogo, l’esposizione del ricercatore, e altri ancora. Naturalmente queste considerazioni non valgono solo per il bando di cui stiamo parlando: entrano in gioco, come sappiamo in tutti i processi di valutazione. Non vorrei dare l’impressione di cercare il pelo nell’uovo: è che qui avevamo un esperimento che per l’Italia è stato un “unicum”: vale quindi la pena di fare tutto il possibile per eliminarne le poche (e tutto sommato piccole) pecche.

TABELLA 1 | Progetti presentati e finanziati: distribuzione regionale  e per Istituto

(*) Le Università non erano ammesse al bando. Compaiono nella Tabella perché ricercatori ad esse appartenenti hanno presentato le domande appoggiandosi al Enti ammessi al bando.

TABELLA 2 | Progetti presentati e finanziati divisi per macroregioni * 

I dati si riferiscono a circa  il  90% dei progetti presentati, essendo risultato impossibile  stabilire la sede dei restanti 10%. Si può aggiungere qualche altro commento interessante su alcuni Istituti di Ricerca di grande tradizione che però, non avendo classificato alcun progetto nei primi 57,  non hanno ricevuto finanziamenti: ad esempio, gli Istituti Ortopedici Rizzoli di Bologna hanno presentato 16 progetti, classificando il migliore  al 283° posto; l’IRCCS Pediatrico Burlo Garofolo di Trieste ha presentato 7 progetti, classificando il migliore al 389° posto; l’Istituto Nazionale Tumori Fondazione G. Pascale di Napoli ha presentato 12 progetti, classificando il migliore al 140° posto; la Fondazione IRCCS Istituto Nazionale dei Tumori di Milano ha presentato  18 progetti, classificando  il migliore al 58° posto (primo degli esclusi).