Nel giugno 2012 Gaetano di Chiara e Maria Grazia Roncarolo per il Gruppo 2003 hanno scritto un interessante articolo dal titolo La valutazione della ricerca scientifica in Italia: una valutazione della valutazione. Gran parte delle osservazioni e delle proposte presentate in quel documento sono assolutamente condivisibili e rappresentano un utile dibattito su un tema oggi assai discusso nelle Università italiane. La seguente frase, che compare nella premessa, mi ha profondamente colpito perché in essa ho ritrovato tutto lo spirito del lavoro che mi ha animato in questi anni nella realizzazione di un nuovo modello di valutazione dei progetti di ricerca nell’Università di Torino: Una valutazione inefficace, che non incida sulla distribuzione delle risorse, è più dannosa di una non-valutazione perché, essendo percepita come ingiusta, mina la fiducia dei ricercatori nelle Istituzioni e nella ricerca stessa. Proprio questa frase, assieme all’attenta analisi degli autori sui motivi di inadeguatezza delle procedure e dei metodi attualmente seguiti dal MIUR per la valutazione dei progetti di ricerca (PRIN/FIRB) e degli Atenei/Enti di ricerca controllati mi spinge a raccontare l’esperienza dei due ultimi anni nella gestione dei Progetti di Ricerca di Ateneo nell’Università di Torino.

cambio di prospettiva: la definizione di un rapporto convenzionale con gli enti finanziatori

In un momento economico difficile come quello attuale, gli Atenei piemontesi hanno la fortunata coincidenza di operare in una situazione territoriale tuttora favorevole per la presenza di attori locali che hanno dimostrato e continuano a dimostrare una particolare attenzione e sensibilità nei confronti del sistema universitario. La Compagnia di San Paolo intrattiene da parecchio tempo un rapporto stabile con l’Università di Torino e gli altri Atenei del territorio. Questo rapporto si è reso concreto dal 2010 in forma più strutturata rispetto al passato, con una convenzione-quadro che regola i flussi delle erogazioni. La convenzione tra Università di Torino e Compagnia di San Paolo è stata uno strumento del tutto innovativo per la gestione dei finanziamenti destinati all’Ateneo. Il notevole impegno finanziario - 9 milioni di € l’anno per un totale di 27 milioni € - ha peraltro confermato l’attenta politica di sostegno della Compagnia nei confronti della ricerca e dell’istruzione superiore – una cospicua parte dei finanziamenti è stata anche destinata a borse di dottorato e alla sistema bibliotecario - e il riconoscimento del ruolo primario svolto dall’Università nello sviluppo economico e sociale del territorio locale. Due linee di indirizzo fondamentali guidano l’operato del Comitato di Programmazione e Monitoraggio (CPM) che cura l’attuazione delle attività convenzionali: la centralità delle procedure di valutazione e la ricerca di un effetto moltiplicatore sugli investimenti.

Gli interventi a sostegno della ricerca scientifica sono, nei fatti, la principale area di intervento: proprio nella prossime settimane saranno noti i risultati del secondo bando per Progetti di Ricerca di Ateneo (bando 2012), con un budget di 7,2 milioni di € - il 25% dei quali provenienti da un cofinanziamento su fondi liberi dell’Università. Il bando è stato disegnato nella volontà di accentuare l’importanza della qualità della scienza in tutti i suoi settori, accogliendo integralmente la priorità EXCELLENT SCIENCE dello European Research Council (ERC), sulla base della quale sono finanziati progetti di ricerca in tutti i settori disciplinari secondo un approccio bottom up, dopo una valutazione basata sul solo criterio dell’eccellenza scientifica. Ciò significa che i ricercatori dell’Università di Torino hanno potuto presentare progetti di ricerca su temi liberamente scelti per tutte le linee di intervento del nuovo bando, a differenza bando 2011 (il primo bando gestito nella cornice della convenzione) che, per metà del budget – in questo caso complessivamente 7,5 milioni di €, di nuovo cofinanziati al 25% dall’Università di Torino - canalizzava il 50% delle risorse su linee tematiche prioritarie per la Compagnia.

Prima di analizzare in dettaglio i numeri e risultati di queste operazioni, con una particolare attenzione alla strutturazione e agli esiti delle procedure di valutazione, ritengo sia opportuno porre l’accento su due elementi fondamentali.

Innanzi tutto è senz’altro rilevante che, nel lavoro di scrittura dei due bandi, si sia perseguito un percorso evolutivo che, benché a fronte di obiettivi ben precisi, sia approdato al Bando 2012 quale esito di un ampio dibattito pubblico sui risultati del Bando 2011. Quest’ultimo già si caratterizzava per la rigorosità e la trasparenza del processo di selezione, interamente affidato a valutatori esterni all’Ateneo e curato da due panel internazionali di esperti di cui hanno fatto parte scienziati inseriti nella classifica ISIHighlyCited.com della Thomson-Reuters, che raccoglie i ricercatori con il più alto numero di citazioni scientifiche nella comunità internazionale. Nel bando 2012 sono state ulteriormente migliorate le procedure di valutazione, con la costituzione di un numero doppio di panel di valutatori rispetto al primo bando. I ricercatori avevano poi la possibilità di scegliere liberamente quello che fra i quattro comitati di valutazione (Economics and Social Sciences, Humanities, Life Science and Medicine, Science and Technology) ritenevano più adatto a esaminare il progetto. E’ stata infine introdotta una sessione collegiale di discussione (consensus panel) per la decisione finale sulla finanziabilità delle proposte.

Altrettanto rilevante è stata la possibilità, per un Ateneo di tipo “generalista” come l’Università di Torino, di dotarsi di uno strumento di finanziamento della propria ricerca di qualità che ponesse tutte le aree scientifico-disciplinari interne nelle condizioni di concorrere con le stesse chance all’assegnazione delle risorse, in un’ottica però di sostegno selettivo – selective watering lo abbiamo definito al nostro interno – dei gruppi di ricerca e dei singoli ricercatori con più alte potenzialità di generare risultati della ricerca tali da consentire loro di avvicinarsi con maggior successo alla sfida dei progetti competitivi internazionali.

Il Bando 2011: un primo esperimento

Il Bando per i progetti di ricerca 2011 ha rappresentato il primo tentativo di rompere in maniera netta con tutta una serie di problemi che sono, purtroppo, spesso intrinseci alle procedure di valutazione dei progetti di ricerca nel nostro Paese. Ne cito alcuni fra quelli ripresi da Di Chiara e Roncarolo nel loro articolo: la scarsa trasparenza del processo di revisione e del suo esito, la scarsa presenza o addirittura l’assenza di revisori stranieri, la dissociazione fra valutazione e budget disponibile, l’assenza di una valutazione comparativa e l’insufficiente peso attribuito alla produttività e alla qualità della ricerca del proponente (principal investigator). Il bando prevedeva un’unica tipologia di progetti e aveva come obiettivi principali - trasmessi in maniera esplicita nelle istruzioni date ai panelist: il sostegno alla ricerca di alta qualità nell’Ateneo; lo sviluppo di effettive interazioni tra diversi gruppi di ricerca con differenti tipi di esperienze e competenze scientifiche, possibilmente fra loro complementari, scoraggiando la presentazione di progetti generici che risultassero da una semplice aggregazione formale di ricercatori; lo stimolo ai giovani ricercatori (under 35) ad assumere la direzione e il coordinamento dei progetti; l’incoraggiamento a presentare progetti che potessero costituire la base per una futura partecipazione ai bandi UE.

Ho già detto in precedenza del modo con cui sono stati costituiti i due panel di esperti (uno per le cosiddette «scienze dure» e l’altro per le discipline umanistiche intese in senso lato) che hanno proceduto alla preselezione dei progetti e rimando a tutta una serie di documenti specifici elencati in coda a questo e pubblicati in rete per ulteriori e più dettagliate informazioni. Mi limito qui a riassumere alcuni dati numerici cui farò poi seguire alcuni brevi commenti volti a evidenziare quelli che considero gli elementi positivi e negativi emersi al termine delle procedure.

Il bando ha visto la presentazione di 189 progetti e si è concluso con il finanziamento di 30 di essi. Dei 189 progetti presentati, 76 sono stati ammessi alla seconda fase di valutazione a seguito della decisone espressa in maniera collegiale da ciascuno dei due panel di esperti. Dei 76 progetti ammessi alla seconda fase di valutazione, 54 hanno ricevuto una valutazione finale positiva e non sono stati finanziati per semplici restrizioni di budget. Dei 30 progetti finanziati, 16 si collocano in «area scientifica» e 14 in «area umanistica», 8 sono coordinati da giovani under 35. Sulla base delle previsioni di progetto è stato possibile attivare complessivamente 115 assegni di ricerca per giovani ricercatori italiani e stranieri (under 35). Credo sia indicativo menzionare che uno dei progetti finanziati (IMPACT = Innovative Methods for Particle Colliders at the Terascale) si colloca in un più ampio insieme di ricerche - cui hanno partecipato anche ricercatori dell’Università di Torino e del gruppo torinese dell’INFN - che ha portato, nello scorso mese di luglio, alla scoperta del nuovo bosone di Higgs al CERN di Ginevra. La procedura di valutazione è stata molto onerosa in termini di reclutamento dei revisori. E’ stato, infatti, necessario prendere contatto con ben 780 potenziali valutatori (di cui 211 in Italia e 569 all’estero) per giungere a identificare i 241 valutatori che hanno effettivamente partecipato alla procedura (8 panelist e 233 reviewer, di cui 107 in Italia e 134 all’estero), poiché era stato comunque previsto che ciascun progetto ammesso alla seconda fase di valutazione fosse revisionato in maniera indipendente da tra 3 esperti della materia. Ritengo che l’intero processo di valutazione, benché totalmente nuovo e «doloroso» perché molto selettivo (la percentuale di successo è stata inferiore al 16%), sia comunque stato compreso e accettato dalla gran parte della comunità scientifica dell’Ateneo, avendo, peraltro, compiuto tutti gli sforzi perché la procedura di peer review, con tutti gli inevitabili difetti che a qualunque tipo di peer review si associano, fosse riconosciuta totalmente trasparente, corretta nella sostanza e nella forma, condotta al meglio dei mezzi tecnici a disposizione e con un limite ragionevole ai costi.

Vorrei però aggiungere qualche cosa in merito all’esperienza maturata a conclusione di questo bando, innanzi tutto sulla trasparenza del processo di valutazione. Di Chiara e Roncarolo, riferendosi via primaria alle procedure PRIN/FIRB avviate a inizio 2012, rilevano come, in questo caso, il processo di valutazione sia essenzialmente nelle mani di un Garante – o più precisamente per il PRIN/FIRB 2012 di un comitato di selezione (CdS). Il garante o il CdS non possono modificare il giudizio dei revisori, ma possono influenzare il risultato finale richiedendo, in itinere, l’intervento di un terzo e di un quarto revisore. Con altre possibili variazioni sul tema, in ultima analisi il revisore, protetto dall’anonimato, deve rendere conto solo all’altro revisore- quando ciò è stato previsto - oltre che al garante. Il Cds/garante non devono rendere conto a nessuno per quanto riguarda la valutazione dei progetti individuali. Nella procedura che abbiamo utilizzato a Torino per il bando 2011 era compito dei panelist individuare i revisori più adatti alla valutazione dei singoli progetti ammessi alla seconda fase di valutazione. Questo compito è stato purtroppo assolto in maniera incompleta e il CPM, che segue le procedure attuative della convenzione, è dovuto intervenire con un’azione di supplenza a suggerire una quota di revisori a seguito di molti rifiuti o mancate risposte. Il metodo da noi utilizzato non risponde appieno alle obiezioni mosse da Di Chiara e Roncarolo sulle procedure PRIN/FIRB, ma presenta, a mio avviso, importanti elementi positivi: in primo luogo quello di aver richiesto in ogni caso tre valutazioni indipendenti e di non aver lasciato alcun tipo di margine per la richiesta di valutazioni aggiuntive. Ciò ha rappresentato uno sforzo enorme per la macchina organizzativa dell’Ateneo che, per la prima volta, ha dovuto confrontarsi con un compito di questo tipo e, come vedremo, è stato uno dei motivi che ci ha condotto a esternalizzare la valutazione del bando 2012. Il numero di revisori contattati è stato, infatti, ben tre volte superiore a quello teoricamente necessario per ottenere le revisioni richieste dal bando. Altro punto, che riprendo dalla trattazione di Di Chiara e Roncarolo, è la scarsa presenza o assenza di revisori stranieri. Anche su un tale aspetto l’analisi dei due colleghi è irreprensibile: risponde senz’altro a verità che la banca dati dei revisori del CINECA sia costituita prevalentemente o quasi esclusivamente da revisori italiani e il fatto che la valutazione sia affidata pressoché soltanto a questi ultimi mette in luce un inaccettabile conflitto di interessi. Nel costituire una propria banca dati per il processo di revisione, abbiamo fatto una ricerca sul database ISI Web of Knowlegde per parole chiave compatibili con quelle dei progetti e la abbiamo limitata agli ultimi dieci anni al fine di identificare i potenziali revisori fra soggetti comunque attivi. Ovviamente sono stati esclusi i revisori per i quali fosse evidente un palese conflitto di interessi (es. in caso di co-autoraggi). Così facendo, a fronte di una comunque rilevante riduzione della percentuale dei revisori stranieri nel gruppo di quelli che hanno effettivamente condotto le valutazioni, la percentuale di revisori non italiani si è attestata sul 55,6%,risultato che ritengo possa essere considerato soddisfacente. Due ultime considerazioni sul processo di scelta dei revisori e sulla trasparenza delle procedure: per tutti i progetti è stato necessario prendere contatto con un numero di revisori superiore a tre (arrivando in alcuni casi a superare il numero di dieci per progetti particolarmente specifici) per arrivare a costituire la rosa dei tre valutatori richiesti – altro elemento a riprova dell’assoluta volontà di non influire sul processo di decisione finale. Infine è stato comunicato l’intero elenco dei valutatori, naturalmente non associandolo ai singoli progetti valutati, ma comunque consentendo un nuovo elemento di controllo.
[pagebreak] 

Il Bando 2012: un’evoluzione positiva

La filosofia essenziale che ha animato la stesura del Bando 2012, in buona parte ridisegnato rispetto al precedente, è stata l’intenzione di promuovere, in maniera ancora più netta, lo sviluppo, nei ricercatori dell’Ateneo, di mentalità e approcci più aperti ed efficaci nei confronti dell’evoluzione delle politiche sul finanziamento della ricerca sia nazionali sia europee. Inoltre, in due delle tre tipologie di finanziamento previste, il progetto poteva essere presentato anche da singoli ricercatori. E’ stata poi introdotta una linea specifica di finanziamento per i giovani ricercatori (Junior PI Grants) per incoraggiarne la partecipazione ai progetti competitivi dell’EU, in particolare agli ERC Starting Grants. Rilevo che in questo intervento è stata accolta appieno la definizione di junior investigator data dall’ERC che non si ricollega all’età anagrafica (come nel caso del Bando 2011), ma all’esperienza maturata dopo il conseguimento del Dottorato. Altra novità è stata la previsione di una seconda linea di intervento per ricercatori più esperti (EU Accelerating Grants) volta anch’essa a favorirne la partecipazione ai progetti competitivi dell’UE e extraeuropei. Per entrambe queste linee di intervento, infatti, l’ultima tranche di finanziamento sarà erogata soltanto a fronte della presentazione, da parte del coordinatore, di un progetto in bandi competitivi dell’UE o di altri organismi esteri (es. NIH degli USA).

Una consistente parte del budget è stata comunque destinata al mantenimento di progetti rivolti primariamente al finanziamento dei gruppi di ricerca interni all’Ateneo (Strategic Research Grants) riducendo, tuttavia, il numero minimo di partecipanti strutturati (3 o 5, rispettivamente, per le discipline umanistiche e scientifiche - numeri non sono casuali ma derivano, tengo a rilevarlo, anche dai primi risultati di un’analisi quantitativa sull’effettiva strutturazione dei gruppi di ricerca dell’Università di Torino) allo scopo di evitare la costituzione di raggruppamenti artificiosi e poco fisiologici. Un elemento fondamentale di novità ha poi caratterizzato il Bando 2012: la necessità, ampiamente espressa dalla comunità dei colleghi, di prevedere una forma di valutazione comparativa fra i progetti più incisiva della sola prima fase a panel prevista nel bando 2011, ci ha spinto, assieme a una serie di considerazioni di natura più squisitamente politica –prima fra tutte la volontà di rimarcare in maniera ancora più netta la terzietà della valutazione - a esternalizzare le procedure avvalendoci di un organismo di riconosciuta esperienza nel campo della peer review per la valutazione dei progetti di ricerca, la European Science Foundation (ESF). La procedura di valutazione è stata concertata con gli esperti del Settore Peer Review dell’ESF e disegnata sulle specifiche necessità della nostra Università. Penso sia importante ricordare anche che, dal punto di vista di una più ampia armonizzazione a livello territoriale, essa è stata adottata e affidata a ESF - con minimi adattamenti- anche dall’Università del Piemonte Orientale, che ha bandito i propri progetti di ricerca di Ateneo sostenuti dalla Compagnia di San Paolo in parallelo a quelli della nostra Università, mutuandone il lavoro fatto sulla costruzione del bando e la peer review esterna. Tornando all’Università di Torino, per tutte le tre linee di intervento è previsto che ciascuno dei quattro comitati di valutazione (panel) provveda a operare – solo se necessario per i Junior PI Grants e gli EU Accelerating Grants - una preselezione dei progetti per ridurne il numero e renderlo compatibile con il budget complessivo del bando. Dopo aver acquisito i giudizi di due revisori esterni per ciascun progetto preselezionato, i quattro comitati di valutazione opereranno singolarmente come consensus panel esaminando i rapporti dei revisori esterni e, da ultimo, attraverso una discussione globale, i presidenti dei quattro panel, prenderanno una decisione definitiva sulla graduatoria delle proposte. Al termine di tale fase sarà poi trasmesso ai responsabili di progetto il giudizio analitico dei revisori e del panel. Il modello di consensus panel utilizzato nel Bando 2012 è in perfetta armonia con i diversi modelli di study session presentati nell’articolo di Di Chiara e Roncarolo che, in totale allineamento con quanto si sta già oggi svolgendo all’Università di Torino, rilevano come la study session consenta una valutazione comparativa e l’applicazione di uniformi e comuni criteri di valutazione, tuteli la trasparenza, riduca l’influenza di motivazioni personali e, da ultimo,consenta l’adeguamento dei criteri di selezione al budget disponibile. Quest’ultimo aspetto, di non secondaria importanza, era stato accolto anche nel bando precedente, in cui i progetti positivamente valutati erano stati finanziati senza scendere sotto all’80% del finanziamento richiesto, proprio a evitare la pericolosa dissociazione fra valutazione e budget disponibile cui si è già fatto cenno in precedenza.

Un ultimo spunto di discussione, sul quale ho alcune riserve in merito a quanto espresso da Di Chiara e Roncarolo, riguarda l’insufficiente peso - generalmente il 20% sul totale - attribuito alla produttività e alla qualità della ricerca del proponente il progetto. Abbiamo utilizzato un peso analogo nel primo bando per poi modularlo in maniera differente nel secondo. Per i progetti presentati da ricercatori singoli, il peso dato alla qualificazione scientifica del proponente è del 50% a livello di panel, mentre scende al 25% per i progetti di gruppo, accompagnato da un altro 25% che è, invece, assegnato sulla base della qualificazione dell’intero gruppo di ricerca. Nel caso dei progetti singoli, poi, non è previsto alcun tipo di valutazione sul proponente da parte dei revisori, mentre a essi è chiesto un giudizio sul gruppo di ricerca nel suo complesso, con 25% di peso per i progetti del tipo Strategic Research Grants. L’impianto dei progetti del nostro Ateneo quindi condivide nella sostanza l’importanza di una valutazione dell’affidabilità del proponente, in conformità a una valutazione ex post della sua capacità di produrre e pubblicare ricerche precedenti. Esso, però, prende anche in considerazione il fatto che, nei progetti di gruppo (quali sono quelli del tipo PRIN/FIRB e gli Strategic Research Grants dell’Università di Torino), un’eccessiva attenzione alle caratteristiche del proponente, se non adeguatamente bilanciata con parametri di normalizzazione sull’età chiaramente definiti ex ante, rischia di essere drasticamente penalizzante per i giovani ricercatori. Peraltro, la volontà di promuovere in termini reali la presentazione dei progetti da parte dei più giovani tocca alcune corde sensibili. Alcuni colleghi senior hanno lamentato una «scarsa pesantezza» dei curricula di alcuni dei giovani responsabili di progetto finanziati durante dibattito interno che è seguito al primo bando. Ragione questa in più per rilevare la necessità che a una seria e trasparente valutazione ex ante dei progetti ne sia fatta seguire una ex post di pari caratteristiche sui risultati effettivamente ottenuti. Tutti sappiamo quanto quest’ultima sia difficile da rendere concreta, poiché, assai frequentemente e in molte aree di ricerca, esiste un considerevole gap temporale fra la conclusione formale di un progetto e l’effettiva pubblicazione dei dati.

I risultati del bando 2012 sono attesi nelle prossime settimane: purtroppo, anche in questo caso, nonostante l’importante sostegno della Compagnia di San Paolo alla ricerca del territorio, a fronte di 210 progetti presentati dal nostro Ateneo (e di 47 progetti presentati dall’Università del Piemonte Orientale) non saremo quasi certamente in grado di superare di molto le percentuali di finanziamento del Bando 2011. Se questo, da un lato, testimonia l’ottima qualità di un consistente numero di progetti della nostra Università, dall’altro pone l’accento, se ce ne fosse ancora bisogno, sulla situazione di grave sotto-finanziamento della ricerca nel nostro Paese. Una situazione di questo tipo rende assai difficile difendere a livello interno degli Atenei le procedure che abbiamo avviato a Torino, se non accompagnate da una svolta nelle politiche ministeriali di valutazione dei progetti di ricerca, come espresso da Di Chiara e Roncarolo quando affermano che la procedura di preselezione dei progetti PRIN/FIRB non ha fatto altro che duplicare le inadeguatezze dei metodi di selezione degli anni precedenti.

Occorre, se si voglia proseguire lungo la strada di una valutazione efficace e condivisa all’interno della comunità scientifica nazionale, fare molta attenzione alle pulsioni nella direzione di un ritorno a vecchi modelli di distribuzione a pioggia «giustificati» dalla scarsità delle risorse a disposizione, modelli che hanno proposto in passato – e purtroppo tornano anche oggi a riproporre - la dispersione dei finanziamenti in progetti spesso ancillari, se non per contenuti quanto meno per le dimensioni dei gruppi e dei finanziamenti distribuiti, con una pericolosa tendenza verso politiche distributive di piccolo cabotaggio che non consentiranno alle Università italiane di partecipare con successo all’acquisizione di risorse su bandi davvero competitivi in una dimensione europea e globale.

Prevediamo di pubblicare un terzo Bando Ricerca nel 2013. Sicuramente saremo in grado di apportare nuovi miglioramenti all’impianto attuale, facendo tesoro dei risultati del bando 2012 e della discussione interna che sarà avviata immediatamente alla sua conclusione. Dovremo, senza dubbio, riuscire a valutare ancora meglio non solo i buoni progetti ma anche quelli con elevato potenziale di successo e, in questo modo, finanziando la ricerca locale, continuare ad allenare i nostri ricercatori a migliorarsi e prepararsi sempre di più alla sfida di Horizon 2020.

Adalberto Merighi

Università di Torino
Presidente del Comitato di Programmazione e Monitoraggio
Convezione 2010-2012 Università di Torino/Compagnia di San Paolo - Torino