Tra breve partirà l’esercizio di Valutazione della Qualità della Ricerca (VQR) condotto dall’ANVUR. E tra 2-3 anni avremo un quadro aggiornato della produzione scientifica delle Università e degli enti di ricerca italiani. I risultati di questo esercizio saranno il riferimento per la distribuzione della parte premiale delle risorse del Fondo di Finanziamento Ordinario. La storia travagliata che ha portato alla definizione normativa dell’esercizio finale, che si trascina ormai da qualche anno, porta in eredità all’ANVUR un disegno complessivo abissalmente distante dal RAE (ora REF) britannico che è stato spesso indicato come il modello ispiratore della normativa italiana. Non possiamo far niente sul disegno, ma ci sono molte cose che l’ANVUR potrebbe utilmente fare per evitare alcune incongruenze ormai fissate nel decreto (DM marzo 2010)
La struttura del processo prevede la costituzione di 14 GEV, gruppi di esperti (uno per ciascuna area CUN) di nomina ANVUR. I gruppi di esperti sono responsabili della valutazione dei prodotti della ricerca inviate da ciascun ricercatore. Ogni ricercatore è tenuto a un dato numero di prodotti - 3 per i docenti universitari- pubblicati nel periodo 2004-2010. Questa scelta è ampiamente condivisibile e riflette una filosofia del tutto diversa da quella alla base del precedente esercizio CIVR 2001-2003. Le strutture non devono presentare, come accadde nel 2001, la loro ricerca migliore, magari prodotta da un esiguo numero di ottimi ricercatori; ma devono esibire la migliore ricerca prodotta da ciascun ricercatore affiliato. Questo permetterà di individuare, finalmente, i ricercatori con un numero di pubblicazioni inferiori alla soglia (3 pubblicazioni in 7 anni!), e di predisporre una rappresentazione ragionevole della ricerca media prodotta dagli atenei.
Il problema è l’attribuzione del bollino di qualità (A, B, C, D, E) a ciascun prodotto. E’ qui che il DM, chiaramente frutto del contrasto tra l’ansia regolatoria del ministro e spinte accademiche contrastanti, fa una gran confusione. Un punto particolarmente critico è che si prevedono due metodologie diverse per valutare i prodotti: la peer review e l’analisi bibliometrica, con il vincolo che complessivamente il 50% più uno dei prodotti debbano essere valutati con la peer review. Sarebbe stato molto più semplice procedere radicalmente dicendo: in tutti i casi in cui al prodotto, principalmente i libri, non possa essere applicata una analisi bibliometrica decente, esso viene sottoposto a peer review. L’ambiguità del DM tiene invece aperte le porte a tutte le scappatoie che alcune parti dell’accademia italiana si precipiteranno ad imboccare. L’ANVUR dovrà controllarle se vuol raggiungere risultati robusti.
La decisione su quale metodologia applicare ad ogni singolo prodotto è demandata ai GEV. Se decideranno di sottoporlo a peer review saranno i GEV a scegliere i due lettori esterni. Perché la procedura sia credibile tutto deve avvenire nella massima trasparenza. Per il REF2014 britannico, dove i prodotti da valutare cominceranno ad essere inviati nel gennaio 2013, i panel di esperti (i nostri GEV) sono stati resi noti nel febbraio 2011, quasi due anni prima, a seguito di una procedura di selezione iniziata nel luglio 2010. Ad oggi, nell’imminenza dell’invio dei prodotti, l’ANVUR ha reso noti solo i nomi dei presidenti dei GEV. E’ auspicabile che gli altri membri siano resi noti nel più breve tempo possibile, e che siano resi noti alla comunità scientifica i criteri adottati dall’ANVUR nella scelta dei panelist. In particolare è opportuno che venga reso noto se tutti sono stati selezionati attingendo dalle domande presentate a tale scopo al CNVSU, http://www.civr.miur.it/modulo.html. Sarà altresì opportuno che i panelist rendano noti i criteri con i quali sceglieranno i due lettori esterni; e, al termine dell’operazione, che venga reso noto l’elenco completo dei revisori che hanno valutato i prodotti (con l’indicazione del numero di prodotti valutati da ciascuno). E’ altresì auspicabile che l’ANVUR preveda un sistema di controlli statistici sulla qualità ed affidabilità dei giudizi dei lettori esterni, riservandosi di introdurre eventuali provvedimenti correttivi di risultati incongrui. L’ANVUR non deve permettere che si ripeta per il VQR quanto accaduto nella selezione dei progetti PRIN 2009 http://attiministeriali.miur.it/media/174570/verbale_n11_16_06_2011.pdf.
Il risultato finale dipende in primo luogo dalla qualità della ricerca prodotta, ma anche dal modo in cui i ricercatori selezioneranno i loro prodotti da inviare per la valutazione. Nel REF britannico una prima stesura dei criteri adottati dai panel e l’invito alla comunità accademica a discuterne sono stati diffusi circa 18 mesi prima (luglio 2011) dell’invio dei prodotti. I tempi previsti nel VQR prevedono che i criteri siano resi noti a due mesi dall’inizio della procedura, mentre è in corso l’invio dei prodotti di ricerca. Il problema è delicato. Se i ricercatori non conoscono precisamente ed in estremo dettaglio quale metodologia applicheranno i GEV, non possono operare scelte razionali. Se il ricercatore X sa che verrà usata esclusivamente l’analisi bibliometrica, si guarderà bene dall’inviare una monografia, anche se ritiene che sia il suo prodotto migliore. Se, come incongruamente previsto dal DM, verrà considerato l’Impact Factor della rivista su cui X ha pubblicato, sceglierà gli articoli usciti su riviste a più elevato IF, anche se ritiene di avere altri lavori migliori. Se vengono considerate le citazioni ricevute dal singolo articolo, sceglierà i suoi articoli più citati, anche se ritiene di aver fatto cose migliori. Nel caso in cui venga usata la peer review, inviera i prodotti che riterrà possano ricevere i giudizi migliori. Se i criteri non sono noti prima, ci sarà sempre qualcuno che potrà sostenere che i modesti risultati raggiunti da una struttura sono il risultato non della modestia della ricerca prodotta, bensì di un errore nella scelta. E’ quindi auspicabile che l’ANVUR solleciti i GEV a produrre in tempi molto rapidi i criteri ed a renderli noti alla comunità scientifica. I criteri dovranno essere espressi ad un livello molto elevato di dettaglio, specialmente quando si preveda di utilizzare la bibliometria. La norma non prevede la condivisione dei criteri nella comunità scientifica, come avviene nel modello britannico. Si può ovviare in parte a questo difetto con la pubblicità.
Senza la necessaria trasparenza è improbabile che i risultati di un esercizio di valutazione siano ritenuti credibili e accettati dalla comunità degli studiosi. Ed anche di questo la comunità scientifica italiana non ha proprio bisogno.
