Un rapporto della Fondazione Europea della Scienza (FES) offre numerosi ed eccellenti consigli per valutare al meglio le proposte dei progetti di ricerca. L’European Peer Review Guide  è destinata principalmente ad aiutare gli enti di finanziamento europei a migliorare e armonizzare le loro procedure di valutazione, ma può essere anche una guida per agevolare i giovani scienziati nella preparazione dei progetti di ricerca. La guida offre una panoramica sui diversi tipi di programmi di finanziamento in atto in Europa. Vengono elencate le opzioni maggiormente utilizzate: dalla gestione dei conflitti d’interessi, alla riservatezza della documentazione fino a come organizzare il lavoro dei referee. L’European Peer Review Guide è stata realizzata con il contributo di 30 fondazioni di ricerca nazionali distribuiti in 23 paesi, tra cui il Consiglio europeo della ricerca (CER). Il documento può essere suddiviso in due parti: la prima è costituita da una panoramica generale sul sistema di peer review, nella seconda parte ci sono invece indicazioni specifiche sulle linee guida da seguire. Esaminando le linee guida si possono individuare sette principi fondamentali per un corretto processo di revisione e valutazione:

Eccellenza: i progetti selezionati per il finanziamento devono dimostrare alta qualità, nel contesto degli argomenti e dei criteri in base ai bandi di concorso.

Imparzialità: tutte le proposte presentate vanno esaminate allo stesso modo. I revisori hanno il compito di valutare solo i meriti, a prescindere dall'identità dei richiedenti. Le organizzazioni di finanziamento e i revisori non devono discriminare in alcun modo sulla base di sesso, età, etnia, origine nazionale o sociale, di religione o convinzioni personali.

Trasparenza: le decisioni organizzate in base a regole descritte chiaramente. Tutti i candidati devono ricevere un feedback adeguato sui risultati della valutazione della loro proposta. Al fine di evitare decisioni discrezionali, una comunicazione efficace e trasparente è un elemento cruciale per la salvaguardia dell'integrità del sistema.

Appropriatezza per scopo: il processo di valutazione deve risultare adeguato alla natura della chiamata e all'area di ricerca destinata.

Efficienza e velocità: riuscire a coniugare rapidità e qualità durante il processo è molto importante.

Riservatezza: tutte le proposte e i dati relativi vanno trattati in forma confidenziale.

Fig.1 - Fasi della valutazione peer review (European Peer Review Guide)

SELEZIONE REVISORI

Una fase fondamentale nel processo di peer review è rappresentata dalla scelta degli esperti che dovranno esaminare i progetti. A seconda del modello adottato per la valutazione devono essere selezionati specifici decisori. Molti enti di ricerca hanno un datebase con il quale vengono classificati, a seconda delle competenze, i candidati. Da un indagine effettuata risulta che il 90% delle organizzazioni utilizza un sistema informatico a più livelli di classificazione. C’è una forte tendenza, però, a fare affidamento a fonti interne per la definizione dei criteri di classificazione. Nella guida viene sottolineato come queste metodologie di classificazione possono essere non comparabili; viene suggerito, quindi, di adottare criteri comuni per l’assegnazione dei profili scientifici degli esperti in modo da essere utilizzati in modo chiaro e senza ambiguità tra le diverse organizzazioni. Il modo più semplice e maggiormente adoperato nella scelta è quello della “corrispondenza della disciplina”, vengono scelti quegli esperti che di più sono vicini come profilo al tema preso in esame. Altre organizzazioni utilizzano una classificazione basata sulla correlazione di parole chiave tra le proposte di ricerca e i profili dei revisori. Il primo metodo potrebbe non essere efficace nell’individuare esperti qualificati quando si tratta di esaminare progetti multi o inter disciplinari, mentre il secondo metterà in luce solo quei ricercatori con un esperienza di ricerca in campi particolari. La scelta migliore dovrebbe essere quella di coniugare e integrare entrambi le metodologie. Il numero minimo di referee dipende dal format della peer review, quindi dal numero delle proposte da esaminare e dalla portata scientifica del programma. L’obiettivo dovrebbe essere quello di garantire la disponibilità di diversi punti di vista, per una corretta valutazione bisognerebbe almeno avere il parere di tre esperti.

I conflitti d’interesse possono essere suddivisi in due categorie: intangibili, quando esistono rapporti accademici o tangibili nei quali le due parti hanno dei legami di carattere finanziario. I revisori devono evitare di valutare una proposta con cui hanno conflitti di interesse, non dovrebbero essere presenti quando la proposta in questione è in discussione. Le regole relative al conflitto d’interessi possono variare a seconda della fase della valutazione, e dal ruolo dell'esperto. Ci possono essere, infatti, delle circostanze dove queste situazioni possono essere risolte o attenuate senza escludere completamente l'utente con un dichiarato conflitto. Per ogni proposta valutata, ogni esperto deve firmare una dichiarazione di terzietà. E' fortemente consigliato, inoltre, l’utilizzo di revisori internazionali e gruppi di esperti dei paesi emergenti. Il revisore deve siglare anche un codice di condotta che assicuri la riservatezza e preservi dall’eventuale fuga di notizie. E’ importante, prima che il processo di revisione abbia inizio, organizzare delle sessioni informative per i referee, in modo da poter informare e descrivere i criteri di valutazione da seguire. Le organizzazione di ricerca devono dedicare alcuni componenti del proprio staff alla continua comunicazione con gli esperti. Si deve creare così una canale di informazione sempre aperto per rispondere a qualsiasi tipo di domanda che può sorgere durante il processo di verifica.

Principali parametri che i referee devono adottare per la valutazione:

- rilevanza e impatto atteso;
- rilevanza della ricerca proposta per il campo d’applicazione della chiamata;
- prospettive di più ampio impatto (scientifica, creazione di conoscenza, socio-economico);
- rischi associati;
- budget;
- personale impiegato;
- attrezzature e materiali di consumo;
- viaggi;
- questioni etiche: il rispetto delle norme e pratiche standard etici nel campo della sicurezza, dell’uso di animali e soggetti umani; 
- parità di genere: alcune organizzazioni nei propri bandi promuovono l'equilibrio tra i sessi.

VALUTAZIONE DEL PROGETTO

La proposta scientifica deve essere chiara e convincente. Saranno valutati in maniera positiva tutti i progetti nei quali viene riscontrata originalità sia nell’approccio che nell’uso di nuove tecnologie. Un indagine, però, effettuata sulle pratiche di peer review nei maggiori paesi europei mostra che il 70% degli enti finanziatori non è in possesso di strumenti specifici per valutare in modo idoneo proposte innovative, questo perché in circa il 50% dei casi raramente vengono proposti progetti studio che promettono di cambiare i paradigmi della conoscenza. Dall’indagine risulta, inoltre, una ritrosia da parte degli investitori nel finanziare questo tipo di progetti dovuta alla paura di perdere gli investimenti, nella guida viene quindi suggerito di dotarsi di esperti in grado di equilibrare la proposta e ridurre al minimo il rischio. L’esame dei curricula è fondamentale per poter capire se i ricercatori hanno già avuto esperienza nel campo di ricerca in esame e se il gruppo di richiedenti è provvisto di tutte le competenze necessarie e delle sinergie per poter portare a termine con successo il progetto. Per sintetizzare e confrontare al meglio le valutazioni, può essere molto vantaggioso assegnare un sistema di punteggio per ciascuno dei criteri adottati. Molti enti di ricerca predispongono una serie di scelte multiple per la valutazione. Di solito queste sono organizzate attraverso un punteggio numerico o alfabetico. 

E’ consigliabile mantenere questo sistema più semplice possibile, anche per poter calcolare in modo agevole la media di tutti i punteggi e ottenere così quello finale. Può essere impostata una soglia al fine di determinare le proposte finanziabili rispetto a quelle da rifiutare. Prima di mandare ai proponenti i risultati del referaggio, le organizzazioni devono avere la possibilità di studiare le valutazioni dei referee, dopodiché i feedback vengono mandati ai gruppi di ricerca. Bisogna sempre informare i candidati di tutte le fasi del processo e delle sue tempistiche. Alcuni enti di ricerca predispongono nella loro fase di valutazione anche il diritto di replica. Attraverso questo passaggio si permette a ricercatori di commentare gli errori o i malintesi. Le agenzie di finanziamento sono incoraggiate a semplificare le procedure, cercare di ridurre per quanto possibile al minimo il tempo per la valutazione e la decisione. A seconda della portata dei bandi, il sistema di valutazione può essere suddiviso in due fasi. Nel primo stadio i candidati vengono invitati a sottomettere una lettera d’intenti dove descrivono brevemente il progetto e gli obiettivi generali della ricerca. Coloro che superano questa fase, in quella successiva dovranno inviare le proposte complete che saranno valutate in modo definitivo. Alcune organizzazioni prevedono la possibilità di effettuare interviste ai candidati o la presentazione del progetto. Per programmi nazionali, un tempo di 6 mesi può essere un buon punto di riferimento mentre per concorsi internazionali una valutazione accettabile è ritenuta nell’ordine dei 12 mesi. E' molto importante stabilire regole chiare riguardo i modi e le procedure con cui viene presa la decisione finale.  Nella maggior parte dei casi l’ultima parola spetta a un comitato all’interno dell’organizzazione responsabile del programma. Altri enti organizzano un comitato di scienziati che in base alle indicazioni dei revisori decide a chi erogare i finanziamenti. Pochissime agenzie di ricerca prevedono invece che la decisione finale venga presa solo dal “collegio dei revisori”. Al fine di garantire la qualità del processo è necessario monitorare e misurare la qualità attraverso indicatori noti; membri del personale con un mandato esplicito devono supervisionare l’intero processo. Da un indagine condotta solo il 6,7% degli enti ha però un ufficio dedicato, con un esplicito mandato, a garantire la qualità nella loro organizzazione.