L'istituzione di un sistema di valutazione della qualità della ricerca è una misura irrinunciabile per un paese che voglia investire nell’innovazione e rimanere competitivo. L'entrata in funzione dell'Agenzia per la valutazione dell'Università e della Ricerca (Anvur) dimostra che anche l'Italia si sta finalmente muovendo nella direzione della valutazione della ricerca e questo fatto non può che essere accolto positivamente. Tuttavia, l'esperienza negativa della valutazione dei progetti di ricerca nazionali (Prin, Firb) dimostra che fine ultimo della valutazione deve essere la premialità del merito. Una valutazione inefficace, che non incida sulla distribuzione delle risorse, è più dannosa di una non-valutazione perché, essendo percepita come ingiusta, mina la fiducia dei ricercatori nelle Istituzioni e nella ricerca stessa.

Una'' valutazione della valutazione'' della ricerca in Italia non può non entrare nel merito delle procedure attualmente seguite dal Miur e considerarne gli aspetti metodologici.

La valutazione della ricerca scientifica riguarda:

• I progetti di ricerca
• Le istituzioni (Atenei e Istituti di Ricerca controllati dal Miur)

La valutazione dei progetti di ricerca

In Italia la valutazione dei progetti di ricerca finanziati con fondi pubblici (Prin, Firb) utilizza da molti anni il sistema dei revisori esterni scelti da una banca dati - quella del Cineca - sulla base dell'area e del settore scientifico disciplinare (Ssd), del panel ERC (es. LS1) e del relativo settore (es.LS1_5), della tipologia (es. docente attivo, ricercatore non universitario, etc.), della residenza o meno in Italia, della partecipazione al Prin o al Firb corrente, dell'appartenenza alla struttura da cui proviene il progetto da valutare e dei temi di ricerca, mediante parole chiave. 
I revisori sono scelti da un Garante per ciascuna area di ricerca in modo che ciascun progetto sia valutato di norma da due revisori. In certi casi, e a suo giudizio, il garante può richiedere la valutazione di un terzo revisore.

Questo sistema è inadeguato per una serie motivi che possono essere schematizzati come segue:

Scarsa trasparenza del processo di revisione e del suo esito

Il processo di valutazione di ciascun progetto è essenzialmente nelle mani del garante. Il garante non può modificare il giudizio dei revisori ma può influenzare il risultato finale sia attraverso la scelta dei revisori che in itinere, richiedendo l'intervento di un terzo o di un quarto revisore. In alcune tornate del Prin era prevista la possibilità che i due revisori confrontassero i giudizi e si accordassero su un punteggio finale. Pertanto, ciascun revisore, protetto dall'anonimato, deve rendere conto, quando questo è previsto, solo all'altro revisore, oltre che al garante. Il garante, a sua volta, per quanto riguarda la valutazione dei progetti individuali, non deve rendere conto a nessuno. A procedura conclusa i revisori non hanno più accesso ai giudizi ed ai punteggi da loro stessi attribuiti nè sono informati sugli esiti della revisione finale.

Assenza di una valutazione comparativa

Il fatto che ciascun progetto sia valutato da due, al massimo da tre revisori e, d'altra parte, il fatto che non esista possibilità di confronto tra i progetti rende impossibile un giudizio comparativo e l'applicazione dello stesso criterio di giudizio a progetti appartenenti alla stessa area.

Scarsa presenza o assenza di revisori stranieri

La banca dati dei revisori del Cineca è costituita prevalentemente o esclusivamente da revisori italiani. Il fatto che la valutazione sia affidata quasi esclusivamente a revisori italiani rende inevitabile il conflitto di interesse dei revisori.

Insufficiente peso attribuito alla produttività e qualità della ricerca del proponente il progetto

A questo aspetto, che indica l'affidabilità del proponente, la sua capacità di effettuare la ricerca e pubblicarne adeguatamente  i risultati, viene attribuito solo il 20% del punteggio a disposizione.

Dissociazione tra valutazione e budget disponibile

La parcellizzazione e soggettività del processo valutativo fa sì che non esista alcun rapporto tra criteri di valutazione e budget disponibile per il finanziamento. Paradossalmente in vari Prin e Firb il numero dei progetti che hanno riportato un punteggio massimo è stato talmente elevato da far sì che la quota annuale attribuita a ciascuna unità si riducesse a livelli (media Prin 2008-2009 : 25.000 euro, inclusa quota di cofinanziamento locale) difficilmente compatibili con la realizzazione dei progetti stessi. E’ quindi essenziale che per ciascun progetto sia indicato il budget minimo per la sua attuabilità, in misura non inferiore al 30% del budget richiesto.

Preselezione

Nel 2012 è stata introdotta una preselezione dei progetti di ricerca a cura degli Atenei. Questa procedura è sta giustificata con la difficoltà di gestire a livello centrale un numero eccessivo di domande. In effetti, organismi nazionali (Fondazione CARIPLO) e internazionali (Commissione Europea) utilizzano meccanismi di preselezione. Tuttavia in questi casi la preselezione viene di regola effettuata su una Lettera di Intenti e non sul progetto in extenso, una procedura leggera sia per i ricercatori che per le istituzioni. Una procedura come quella messa in atto impone un carico eccessivo ai partecipanti e agli Atenei, senza vantaggi dal punto di vista della qualità della selezione. Peraltro, il fatto di utilizzare nella preselezione una procedura di valutazione analoga a quella della valutazione finale, e cioè quella dei revisori esterni scelti attraverso la banca dati del Cineca, ne riproduce, duplicandole, le inadeguatezze.

Per questo motivo riteniamo necessario che la seconda fase della valutazione dei progetti Prin e Firb venga effettuata utilizzando il principio della "study session".

  La study session

Stante l'attuale congiuntura economico-finanziaria e la necessità di ridurre la spesa pubblica, un uso efficiente dei fondi per la ricerca diventa assolutamente essenziale e prioritario. Da qui l'urgente necessità di riformare radicalmente il sistema di valutazione dei progetti di ricerca.

Ma in che modo?
Semplicemente imitando l'esempio dei sistemi adottati da altri paesi come il sistema di revisione del National Institute of Health (NIH) americano, dell’European Research Council (ERC), delle agenzie nazionali di Francia, Germania e Regno Unito ed anche quello di fondazioni private italiane, come Telethon, Airc, che hanno dimostrato di avere un sistema di valutazione efficiente. Questi metodi sono basati essenzialmente sul fatto che la valutazione finale dei progetti viene effettuata da un panel di esperti dell'area cui appartengono i progetti oggetto della valutazione (study session), coordinato e moderato da un Presidente e da uno o più Vicepresidenti che lo affiancano ed eventualmente lo sostituiscono quando siano in discussione progetti per i quali esita un conflitto di interesse.

La study session consente una valutazione comparativa e l'applicazione di uniformi e comuni criteri di valutazione, tutela la trasparenza, riduce l'influenza di motivazioni personali e infine consente l'adeguamento dei criteri di selezione al budget disponibile.
Un esempio di applicazione di questo metodo è quello utilizzato dall'ANR, l'agenzia nazionale della ricerca francese e dall'Accademia delle Scienze finlandese, paesi che riservano alla ricerca quote del Pil ben più consistenti dell'Italia. In questo sistema i ricercatori fanno domanda nelle varie aree, a ciascuna delle quali corrisponde un panel di esperti. Gli esperti, escluso il presidente ed i vicepresidenti, sono per almeno il 50% residenti all'estero. A ciascun membro del panel è affidato un certo numero di progetti (per es. 10). Per circa un terzo di questi progetti l'esperto sarà il referente (referee) nella riunione plenaria del panel, al quale dovrà brevemente descrivere il progetto in discussione, i suoi aspetti di forza e di debolezza, le eventuali revisioni da apportare e la produzione scientifica del proponente negli ultimi 5 anni. Per i restanti due terzi dei progetti a lui affidati l'esperto sarà il lettore (reader) e come tale dovrà affiancare il referente nella discussione plenaria della study session, esprimendo il suo giudizio sul progetto. In pratica nella discussione plenaria vengono sentiti di regola prima il referente e il lettore e quindi si apre la discussione cui possono partecipare tutti i membri del panel, ciascuno dei quali ha accesso a tutto il materiale che riguarda i progetti in esame.

La riunione plenaria è preceduta da un lavoro preparatorio di alcuni mesi durante i quali vengono raccolti i giudizi dei revisori esterni, selezionati, in numero di almeno tre da una banca dati internazionale ed, eventualmente, tra i revisori che ciascun proponente dei progetti ha la facoltà di esprimere. E' da notare che, come i membri del panel, anche i revisori esterni sono scelti tra quelli residenti all'estero. Ciascun membro del panel dovrà, prima della riunione plenaria, compilare per via telematica una scheda identica a quella ricevuta dai revisori esterni, nella quale dovrà attribuire un punteggio per i vari aspetti di ciascun progetto a lui assegnato e per l'attività del proponente e infine indicarne la categoria di appartenenza per quanto riguarda la finanziabilità (A, sicuramente finanziabile, B, recuperabile al finanziamento in base alla disponibilità residua, C, non finanziabile). 
Di fondamentale importanza è il fatto che i revisori sono istruiti a limitare l'inserimento nelle due categorie A e B ad una percentuale prefissata (per es. max 20% in A e 20% in B).

La classifica finale viene stilata sulla base del punteggio assegnato dal panel a ciascun progetto per i due aspetti della qualità del progetto e dell'attività del proponente. Questo sistema è relativamente rapido ed efficiente e la spesa relativa alla ospitalità dei membri del panel è abbondantemente compensata dal guadagno di produttività determinato dal finanziamento dei progetti e dei proponenti più meritevoli.

Organizzazione della valutazione dei progetti di ricerca

Presupposto essenziale del sistema su esposto è la creazione di un organismo ad hoc, con l'esclusivo compito di allestire, implementare e monitorare la revisione e valutazione dei progetti di ricerca. L'Italia, unica tra le nazioni più industrializzate, non possiede un tale organismo e a questo non è estranea l'inefficienza della valutazione dei progetti nazionali di ricerca. Quest'organismo potrebbe essere costituito all'interno dell'Anvur ma dovrebbe essere comunque distinto dall'organismo deputato alla valutazione delle strutture.

[pagebreak]

La valutazione delle Strutture (Atenei e Istituti di ricerca)

La creazione e l'entrata in funzione dell'Anvur è da considerare di per sè un fatto positivo dato che allinea l'Italia con gli altri paesi più industrializzati.
Nonostante ciò, l'Anvur è stato fatto segno di critiche chiaramente strumentali, alcune intese non a migliorarne l'efficienza, ma a impedire tout court la valutazione stessa della ricerca.

La valutazione delle Strutture da parte dell'Anvur è basata prevalentemente sulla valutazione dei prodotti della ricerca e quindi delle pubblicazioni, suddivise per aree di ricerca corrispondenti alle aree CUN. A questo scopo è stato costituito, per ogni area, un gruppo di esperti (Gev). Altri indicatori della qualità delle strutture sono costituiti dalla capacità di attrarre risorse e cioè, dai finanziamenti nazionali e internazionali e dall'internazionalizzazione (turnover di stranieri e presenza di collaboratori stranieri nei lavori eccellenti), dal numero di ricercatori in formazione, etc.

La valutazione dei prodotti della ricerca

Il metodo Anvur, applicato alla valutazione dei prodotti della ricerca, si basa essenzialmente sulla valutazione di un massimo di 3 prodotti, suddivisi per area di ricerca, per ciascun docente universitario (ricercatori inclusi) e di 6 prodotti per ciascun ricercatore degli Istituti di Ricerca per il periodo di riferimento 2004-2010. I prodotti sono valutati sulla base del fattore d'impatto della rivista, codificato da ciascun Gev, e del numero di citazioni rilevate da Scopus o da Isi, oppure sulla base dell'esame dei prodotti effettuato da revisori esterni (peer review). Alla peer review sono destinati tutti i prodotti pubblicati in convegni o riviste senza un codice di impatto (come è spesso il caso del settore umanistico-giuridico) e un certo numero (a campione) dei prodotti per i quali sono applicabili i parametri bibliometrici. Sulla base di questi parametri ciascun prodotto viene classificato in una di 5 categorie a ciascuna delle quali corrisponde un punteggio (eccellente, 1; buono, 0,8; accettabile, 0,5; limitato, 0; non valutabile, -1).
La mancanza di un prodotto ha un peso di -0,5. Per ciascuna area, i prodotti eccellenti corrispondono al miglior 20% della produzione internazionale complessiva.

L'Anvur prevede di utilizzare per la valutazione delle Università e degli Istituti, in aggiunta ai prodotti della ricerca anche una serie di altri indicatori, relativi ad attività professionali e imprenditoriali come: prestazioni in conto terzi, creazione di spin-off, brevettazione, incubatori di impresa, Consorzi.

Considerazioni e proposte

Sulla base degli aspetti generali del metodo Anvur si possono fare alcune considerazioni:

a) Il programma di valutazione dell'Anvur è piuttosto complesso e il fatto di ricorrere, nei casi previsti, anche a revisori esterni lo espone ai problemi che affliggono la valutazione dei progetti di ricerca (mancanza di trasparenza, conflitto di interessi, etc).

Perciò, al fine di evitare i problemi evidenziati a proposito dell'uso dei revisori esterni nella valutazione dei progetti (vedi  punto 2.), sarà essenziale che ciascun Gev istituisca efficaci procedure di controllo della valutazione di ciascun prodotto da parte dei revisori esterni.

b) Il fatto di aver fissato a 3 in 7 anni per ciascun docente (6 in 7 anni per i ricercatori degli Istituti) il numero di prodotti da sottoporre alla valutazione riducendone fortemente il potere di risoluzione, producendo un effetto livellante delle eccellenze. La possibilità di distribuire le pubblicazioni tra i coautori attenua in parte questo limite, ma penalizza le strutture con un elevato numero di pubblicazioni e/o con pubblicazioni di un singolo o pochi autori.

Si auspica quindi di aumentare il numero di prodotti utilizzabili, fermo restando il minimo di 3 prodotti in 6 anni per i ricercatori universitari. Dato che tale aumento comporterebbe, nel caso di prodotti da analizzare attraverso la peer review, un eccessivo dispendio di risorse e di tempo, bisognerebbe riservarlo alle pubblicazioni dotate di un indice di impatto e da valutare esclusivamente attraverso gli indici bibliometrici.

c) La fissazione del fattore d'impatto e delle citazioni al 20% superiore come requisito di eccellenza tende a livellare ulteriormente la valutazione (vedi punto b).

Si propone quindi di restringere al 5% superiore il requisito per l'eccellenza.

d) Dato che una valutazione triennale dei prodotti (cadenza prevista quando la valutazione sarà a regime) è essenzialmente prospettica, essendo basata prevalentemente, almeno in ambito scientifico, sul fattore d’impatto della rivista piuttosto che sulle citazioni di ciascun prodotto, si auspica che ogni 9 anni i prodotti valutabili in base alle citazioni possano venire rianalizzati in modo da fornire una valutazione reale della ricerca delle Strutture.

e) Il fine di una valutazione della ricerca è la distribuzione delle risorse secondo il merito. Una valutazione, per quanto accurata e ben condotta, è inutile se non influenza pesantemente il finanziamento dell’Università e degli Istituti di Ricerca.

Di questo l’Anvur dovrebbe farsi promotore e indicare le modalità applicative dei risultati della valutazione, al fine di attivare un efficace meccanismo virtuoso volto a migliorare la qualità della ricerca.

f) Il metodo Anvur  non valuta la ricerca dei singoli  docenti e ricercatori ma ne utilizza i prodotti per valutare le Strutture di ricerca. Tuttavia la valutazione individuale è necessaria ai fini del reclutamento di nuovi ricercatori e docenti e del monitoraggio della produttività individuale in vista dell'istituzione di incentivi salariali, un principio ormai di comune applicazione nella pubblica amministrazione e previsto dalla legge 240.

A questo fine la valutazione potrebbe essere effettuata, nel rispetto dell'autonomia, a cura degli Atenei. Per la valutazione individuale potrebbero essere considerati i seguenti criteri:

• qualità, rilevanza, eccellenza, impatto e continuità della ricerca scientifica.
• visibilità e prestigio internazionale (es. letture magistrali/ invited lectures a Congressi internazionali)
• ruolo come opinion leader nel suo campo (membro di commissioni di valutazione internazionali; partecipazione a Consigli scientifici isituzionali)
• capacità di attrarre risorse finanziarie finalizzate all’autofinanziamento

Gaetano Di Chiara e Maria Grazia Roncarolo per il Gruppo 2003