Mercoledì scorso, 22 febbraio, l'ANVUR (Agenzia Nazionale Valutazione Università e Ricerca) ha presentato a Roma i risultati della seconda VQR (Valutazione Qualità della Ricerca), relativa ai 4 anni dal 2011 al 2014. Nel documento di presentazione l'ANVUR dichiara che i risultati della VQR sono rilevanti per tre categorie. La prima è il governo, che si basa su questa valutazione per assegnare la quota premiale del Fondo di Finanziamento Ordinario destinato a Università e Enti di ricerca vigilati dal MIUR. La seconda categoria è costituita da "le famiglie e gli studenti per orientarsi nelle difficili scelte collegate ai corsi di studio e alle università". Il terzo gruppo è quello dei "giovani ricercatori", italiani e non, "per approfondire la propria formazione e svolgere attività di ricerca nei migliori dipartimenti".

La valutazione ha interessato in tutto 129 istituzioni (96 università, 12 enti di ricerca vigilati, 6 enti volontari, 9 consorzi universitari e 12 enti diversi) ed è stata divisa in 16 aree scientifiche. Per ciascuna area è stato nominato un Gruppo di Esperti Valutatori (GEV). Uno sforzo titanico in termini di numero di persone coinvolte e di attività di coordinamento (come è evidente dall'ampio spazio dedicato nei documenti ANVUR alle statistiche sui valutatori). Il primo dato che emerge è quello relativo allo squilibrio tra donne e uomini. Nonostante si laureino più donne, la carriera universitaria o di ricerca è più difficile per loro. La percentuale di donne varia attraverso le aree da un minimo di 17.2% per l'ingegneria industriale e dell'informazione a un massimo di 57% per le scienze psicologiche.

Per entrare nel merito della valutazione prendiamo a esempio la graduatoria pubblicata per le "Scienze Fisiche", in particolare quella relativa alle università piccole.

Scopriamo che la prima classificata è l'Università Kore di Enna, e solo al settimo posto troviamo la Scuola Normale di Pisa. Un risultato che appare piuttosto bizzarro. Come è stato ottenuto questo ranking?

Metodo di valutazione

A ciascun ricercatore o professore impiegato in università ed enti sono stati richiesti rispettivamente 2 e 3 prodotti (pubblicazioni su rivista, monografie, curatele, brevetti). Ciascun prodotto è stato assegnato a una classe di merito tra cinque: eccellente con voto 1, elevato con voto 0.7, discreto con voto 0.4, accettabile con voto 0.1, limitato con voto 0 (in questa classe rientrano anche i prodotti non valutabili o mancanti). Il metodo utilizzato per assegnare i prodotti alle classi è diverso a seconda delle aree, ma si compone di due procedure. Una completamente guidata dalla bibliometria (numero di citazioni e impact factor della rivista di pubblicazione) e una basata sulla peer review.

Una volta che ogni prodotto presentato da una certa istituzione in una determinata area scientifica è stato valutato, si può calcolare il voto medio dell'istituzione in quell'area, semplicemente sommando i voti dei singoli prodotti e dividendoli per il numero di prodotti valutati. Per ottenere una misura relativa del livello della ricerca svolta da un'istituzione in una certa area rispetto al livello medio della ricerca portata avanti dalle istituzioni italiane nella stessa area, l'ANVUR ha introdotto il voto medio normalizzato R. Questo coefficiente è il rapporto tra il voto medio ottenuto da un'istituzione in un'area e il voto medio complessivo della ricerca italiana in quell'area. Nel documento di presentazione della VQR 2011-2014 si legge:

"Esso (R) consente una misura diretta della qualità relativa della ricerca in una certa area espressa da una determinata istituzione: valori inferiori a uno indicano una produzione scientifica di qualità inferiore alla media di area, valori superiori a uno indicano una qualità superiore alla media."

L'ANVUR sottolinea che questo indicatore deve essere calcolato in "gruppi omogenei" di istituzioni. Per questo opera delle distinzioni tra università piccole, medie e grandi ed enti grandi e non. Distinzioni che probabilmente non bastano a curare alcuni limiti statistici.

La distinzione in categorie avviene sulla base del numero di prodotti presentati, scegliendo alcuni valori soglia. Questi valori cambiano da area ad area. Torniamo all'Università Kore di Enna e alla Scuola Normale di Pisa. Nell'area delle scienze fisiche tutti gli atenei che presentano meno di 50 prodotti rientrano nella categoria delle università piccole. L'Università Kore di Enna e la Scuola Normale di Pisa hanno presentato rispettivamente 6 e 26 prodotti. Delle 6 pubblicazioni dell'università siciliana tutte e 6 hanno ottenuto il voto massimo, mentre solo l'84.62% (ovvero 22 su su 26) sono eccellenti, le rimanenti 4 elevate. Da qui svelato l'arcano. Al di là della statistica si può avanzare un'osservazione di buon senso: su numeri così piccoli (6 articoli) ha senso questo ragionamento? E poi: una sana attività di ricerca produce solo risultati eccellenti?

Apriamo il dibattito

Con l'obiettivo di aprire un dibattito costruttivo sui risultati di questa valutazione, che ha richiesto lo sforzo di tanti e l'impiego di risorse, presentiamo le graduatorie stilate in base al valore del voto normalizzato R. Si tratta solo di una visualizzazione dei risultati pubblicati in numerosi file, spesso poco leggibili, sul sito dell'ANVUR. Per quanto riguarda gli Enti abbiamo visualizzato le graduatorie complessive, data la scarsa numerosità di alcuni sotto-gruppi di enti in certe aree. Dove, nonostante questo, esiste un solo ente valutabile, abbiamo riportato il voto medio (da 1, eccellente, a 0, limitato o mancante).