In fondo alla pagina della chat, in piccolo e grigio chiaro, ChatGPT scrive che “potrebbe produrre informazioni inaccurate riguardo persone, posti o fatti”. Per “inaccurate” si intende anche false, vere e proprie allucinazioni testuali, come il record di Christof Wandrarsch che nel 2020 avrebbe attraversato la Manica nel minor tempo mai registrato, peccato che secondo ChatGTP, Christof lo avrebbe fatto a piedi.

Eppure, un gruppo di esperti ha recentemente pubblicato un commento sulla rivista Nature che guarda all’uso costruttivo dell’intelligenza artificiale, vedendoci un potenziale punto di svolta per la consulenza scientifica rivolta ai decisori politici, un compito tanto delicato quanto prezioso. «In tutto il mondo, i consulenti scientifici agiscono come intermediari della conoscenza, fornendo a presidenti, primi ministri, funzionari pubblici e politici informazioni aggiornate riguardo temi in cui la scienza e la tecnologia si intersecano con i problemi della società», spiegano nell’articolo, come l’emergenza climatica, la resistenza antibiotica, o l’intelligenza artificiale stessa; «Devono scavare tra i milioni di articoli scientifici che vengono pubblicati ogni anno (...) e devono lavorare in fretta: le scadenze politiche sono più rigide e più rapide di quelle accademiche». Ed è qui che verrebbe in soccorso l’intelligenza artificiale, in particolare i grandi modelli linguistici, come ChatGTP, IA costruite su reti neurali artificiali, addestrate a “comprendere” e generare testo in linguaggio naturale.

Ma come ogni strumento, l’importanza sta nel come lo si progetta e usa.

Automatizzare e standardizzare

I grandi modelli linguistici o Large Language Models (LLM) hanno la capacità di analizzare grandi quantità di testo, estrarne le informazioni principali ed elaborare sintesi riguardo a un dato argomento, utilizzando le diverse fonti che hanno analizzato. Secondo gli autori dell’articolo su Nature, uno sviluppo e una gestione attenta di una nuova generazione di strumenti basati sull'IA potrebbe, nel prossimo futuro, rappresentare un'opportunità per migliorare drasticamente la consulenza scientifica, rendendola più agile, rigorosa e mirata, sfruttando le capacità dell’IA per due compiti centrali della consulenza scientifica: la sintesi delle informazioni e la stesura di documenti informativi.

Il cuore della consulenza scientifica è infatti quello di sintetizzare e tradurre le informazioni complesse e specialistiche, ottenute dalla revisione della letteratura scientifica, in un formato accessibile e funzionale, per orientare e supportare l’attività̀ legislativa dei governi. I large language models rappresentano strumenti promettenti per facilitare il lavoro umano, accelerando questa sintesi di evidenze, e al contempo migliorarlo, rendendo le ricerche più algoritmiche. Gli strumenti basati sul machine learning, o la capacità delle IA di apprendere in maniera automatica, sono difatti sempre più in grado di classificare in maniera sistematica la letteratura e automatizzare i processi di ricerca, screening ed estrazione dati, che costituiscono le prime fasi delle revisioni della letteratura, documenti tanto fondamentali per la sintesi delle informazioni quanto dispendiosi in termini di tempo.

Gli strumenti di intelligenza artificiale, grazie alla sempre più potente traduzione automatica basata su LLM, sarebbero inoltre in grado di abbattere le barriere linguistiche, estraendo informazioni da un corpus spesso trascurato di risultati non in lingua inglese e, viceversa, potrebbero rendere la letteratura accessibile a chiunque, a prescindere dai limiti linguistici.

Ma per rendere tutto questo possibile è necessario che anche la ricerca stessa si renda più incline a essere analizzata: la comunità scientifica dovrebbe concordare e utilizzare formati standard nella pubblicazione dei risultati e dei metodi degli studi, in maniera da evitare che informazioni importanti rischino di rimanere nascoste nel testo. Inoltre, l’accessibilità e la scelta tra i diversi database per identificare la letteratura pertinente rappresentano un altro aspetto critico. La scelta del database, infatti, è un passo fondamentale per il processo di analisi e può avere un impatto sostanziale sul risultato. Ad oggi, l’ecosistema dei database della letteratura scientifica è variegato, soprattutto in termini di accessibilità economica, rappresentando così un ostacolo non indifferente. L'interoperabilità delle banche dati e la collaborazione dei governi per rendere la ricerca, almeno quella finanziata da fondi pubblici, ad accesso gratuito diventano basi essenziali per una sintesi automatizzata e il più possibile comprensiva della letteratura scientifica.

C’è anche un’altra questione da affrontare: la credibilità. La letteratura scientifica non è omogenea in termini di qualità e credibilità dei risultati, e i diversi parametri con cui i consulenti valutano la ricerca non sempre sono traducibili in un linguaggio algoritmico. Gli esperti saranno quindi chiamati a concordare nuovi standard per la qualità della ricerca, prima di poter automatizzare il processo di analisi e sintesi delle informazioni, perché gli impact factor e il numero di citazioni, le attuali misure “quantitative” della qualità della ricerca, si sono rivelate in più occasioni indicatori deboli.

Per quanto un Large Language Model ben progettato possa supportare i consulenti nell’annoso compito della revisione della letteratura e la sintesi delle evidenze, gli autori specificano: «La valutazione della qualità dei dati e l'elaborazione di conclusioni dalle prove accumulate richiedono ancora un giudizio umano».

Le IA per la stesura dei documenti informativi: una prima - utile - bozza

I policy brief, o brevi documenti informativi che orientano i processi decisionali, sono una parte centrale della consulenza scientifica. L’esempio più noto sono i POST Notes dell’ufficio di consulenza scientifica e tecnologica del parlamento inglese (Parliamentary Office for Science and Technology): sia in maniera proattiva che reattiva a richieste dei parlamentari, i consulenti del POST redigono note sintetiche che riassumono le informazioni principali rispetto a un dato argomento in modo da supportare un’attività legislativa informata. Grazie alla capacità di riassumere ampie quantità di testo, i grandi modelli linguistici si propongono come uno strumento d’elezione per supportare tale attività, ad oggi però con ancora diversi limiti.

In un esperimento condotto dall'editore Elsevier, è stato costruito un Large Language Model in grado di redigere documenti facendo riferimento solo a ricerche pubblicate e sottoposte a revisione paritaria, lo strumento d’eccellenza per il controllo della qualità per la ricerca. Nonostante il sistema sia effettivamente riuscito a produrre un documento sulle batterie a litio indirizzato ai decisori politici, il risultato era ancora lontano dal prodotto necessario. Secondo un’analisi del testo , il documento era insipido e altamente tecnico, rispecchiando il linguaggio dei documenti da cui era stato elaborato, mancando quindi di una sintesi originale delle informazioni ricevute.

Se la creatività necessaria per la redazione di questi documenti ancora manca all’intelligenza artificiale, ciò non toglie il supporto che tali strumenti possano fornire ai consulenti, facilitando alcune tappe del processo di stesura, magari elaborando prime bozze di sezioni discrete o traducendo in un linguaggio semplice alcune informazioni tecniche o una legislazione complessa.

Gli autori inoltre azzardano un’ulteriore ipotesi: in futuro, le IA potrebbero essere in grado di produrre documenti multilivello che si adattano automaticamente ai diversi destinatari. I politici possiedono infatti competenze e interessi variegati che potrebbero riflettersi in diverse necessità o aspettative rispetto ai documenti informativi forniti dai consulenti scientifici. Le AI potrebbero aiutare a soddisfare tali necessità, variando il livello di spiegazione scientifica per esempio o il focus rispetto a un determinato aspetto della questione in base al background più o meno specialistico o l’interesse dei diversi politici. «Potenzialmente, il livello di dettaglio tecnico potrebbe essere alzato o abbassato dal lettore stesso” specificano nel commento gli autori, per un prodotto “su misura”».

Pericoli da cui proteggersi: bias, allucinazioni e avvelenamento dei dati

Per evitare che la Manica diventi attraversabile a piedi, è necessario che i consulenti scientifici vengano formati in maniera appropriata sull’utilizzo dei sistemi di intelligenza artificiale. Le “allucinazioni” dei large language models, concetti errati presentati in modo coerente e apparentemente plausibile, nascono infatti da formulazioni ambigue o premesse errate delle richieste stesse. “Siamo di fronte a strumenti potenti che possono generare testi coerenti con conoscenze scientifiche avanzate, ma senza intento comunicativo né capacità creativa, e senza una nozione di verità fattuale” spiega Guido Sanguinetti, professore di Fisica Applicata e chair of data science alla Scuola Internazionale di Studi Superiori Avanzati (SISSA) a Trieste, in un articolo scritto su ChtGTP per Scienza in rete lo scorso maggio. La formulazione delle risposta “si basa esclusivamente su considerazioni correlative e non ha un intento comunicativo. ChatGPT non può essere considerato uno strumento affidabile in termini di veridicità”. Dunque, nonostante ChatGTP stesso stia migliorando nel tempo (oggi chiarirebbe subito che la Manica non è attraversabile a piedi), i large language models devono essere utilizzati in maniera adeguata e l’alfabetizzazione all’IA si aggiunge ai requisiti necessari per la figura del consulente scientifico.

Ma le allucinazioni, anche se pericolose a loro modo, sono spesso piuttosto palesi o facilmente confutabili; più insidiosi sono i bias, i pregiudizi, che rischiano di sviluppare i large language models se mal progettati o addestrati. I ricercatori hanno dimostrato che i diversi modelli linguistici infatti hanno vere e proprie inclinazioni politiche distinte, sia sul fronte sociale che su quello economico, e alcuni di questi pregiudizi vengono rilevati dai dati stessi su cui i modelli vengono addestrati. Per questo motivo è cruciale richiedere trasparenza e partecipazione nei processi di progettazione e addestramento dei modelli. Secondo gli autori del commento su Nature, i consulenti e i politici dovrebbero essere coinvolti nella selezione del corpus e nel processo di formazione dell’IA per garantire che i risultati siano percepiti come legittimi. Particolarmente delicato è poi il rischio dell’ “avvelenamento dei dati”, attacchi di disinformazione in cui informazioni distorte o inventate vengono presentate in modo apparentemente scientifico per influenzare o confondere rispetto a questioni politiche o scientifiche controverse. “Garantire che i sistemi utilizzati per produrre pareri scientifici non siano influenzati da tali attacchi potrebbe richiedere una maggiore supervisione e comprensione dei dati e del processo di formazione” concludono gli autori.

Supportare, non sostituire

È chiaro quindi come i grandi modelli linguistici promettano un supporto notevole nell’attività di consulenza scientifica che a sua volta diventa sempre più centrale nel panorama politico attuale. Già la politica stessa ha iniziato a sperimentare con i large language models; lo scorso aprile lo staff del congresso americano ha acquistato 40 licenze per iniziare a usare ChatGTP plus nelle attività di ricerca e sintesi. Viste le premesse però, la promessa può essere esaudita solo dalla costruzione di strumenti di intelligenza artificiali in modo responsabile, attraverso la collaborazione tra il mondo accademico, le aziende tecnologiche e i governi, i quali dovranno garantire una solida governance, trasparenza e responsabilità. Questi tipi di rapporti tra università, imprese e governo esistono già in molti settori, tra cui le iniziative sull'IA come la National Artificial Intelligence Research Resource Task Force degli Stati Uniti.

Se i limiti e le potenzialità sono chiari, altrettanto deve esserlo l’obiettivo, almeno quello a breve termine: gli strumenti di intelligenza artificiale non riescono - ancora? – a sostituire il lavoro del consulente scientifico ma potrebbero decisamente supportarlo. E mentre la comunità internazionale si interroga su come sviluppare questo supporto al meglio, il parlamento italiano non possiede ancora un organo ufficiale di consulenza scientifica, che rimane un a necessità sempre più pressante.