Negli ultimi mesi, fiumi di inchiostro hanno inondato i giornali per parlare di ChatGPT, il chatbot sviluppato dalla società statunitense OpenAI, e più in generale di intelligenza artificiale (IA). Per chi come me si occupa di machine learning da circa vent’anni, la transizione rapida dall’oscurità alla ribalta suscita un misto di perplessità, stupore e frustrazione. Molte figure assai più autorevoli di me hanno scritto sui pericoli e i potenziali dell’IA. Nonostante ciò, le incomprensioni abbondano anche all’interno della comunità scientifica, ad eccezione dei pochi specialisti. Recentemente, si è tenuto alla Scuola Internazionale Superiore di Studi Avanzati (SISSA) di Trieste un bell’evento scientifico per discutere dell’importanza delle tecnologie basate sull’IA per il futuro della scienza. Prendendo spunto da quelle discussioni, vorrei cercare di offrire alcune riflessioni sul tipo di sfida intellettuale che ci troviamo a fronteggiare, e sulle probabili implicazioni per la comunità scientifica.

Come prima cosa, ritengo utile fare alcune riflessioni sulla natura di ChatGPT. Per quanto la sua capacità di generare testi coerenti sia sorprendente, il modo in cui arriva a farlo è basato su concetti piuttosto standard in machine learning. Sostanzialmente, ChatGPT si limita a suggerire la prossima parola in una frase basandosi sul contesto precedente (incluso il prompt che noi gli forniamo), esattamente come tutti noi facciamo quando qualcuno si inceppa in una conversazione. La scelta della parola successiva si basa esclusivamente su considerazioni correlative e non ha un intento comunicativo. Dunque, ChatGPT non può essere considerato uno strumento affidabile in termini di veridicità. Incorre infatti in cosiddette allucinazioni: falsità enunciate coerenti con i dati visti in precedenza, come nel celebre caso del politico australiano “accusato” di corruzione da ChatGPT.

Un altro aspetto molto discusso di ChatGPT, che ha portato molti a proclamare la nascita dell’IA generale, è che il software mostra delle capacità che i suoi creatori non si aspettavano. Ad esempio, nessuno si aspettava che il modello di ChatGPT fosse capace di ragionamenti matematici, mentre si dimostra in realtà molto bravo a risolvere problemi di matematica di livello universitario. Questi aspetti di ChatGPT sono sicuramente impressionanti, ma attribuirli a una nuova forma di intelligenza nasconde una mancanza di comprensione di come il significato della parola “modello” si sia evoluto nel gergo del machine learning. Il concetto di modello è una pietra angolare della scienza: un’astrazione del sistema che permette sia di comprendere le interazioni tra i suoi componenti, sia di predire il comportamento del sistema in nuove condizioni. Quindi un modello comporta l’identificazione delle componenti essenziali di un sistema e delle loro modalità di interazione. La formulazione del modello è l’apoteosi della creatività scientifica, l’atto che unifica le “sensate esperienze e necessarie dimostrazioni” di Galileo.

Questo concetto epistemologico classico subisce però una mutazione fondamentale quando viene esteso al machine learning. Nessuno pensa sia possibile o desiderabile definire quali sono le interazioni, per esempio, tra i pixel di un’immagine. Pertanto, il modello di machine learning, invece di designare un’ipotesi scientifica, indica una classe di possibili relazioni statistiche che riassumano al meglio le correlazioni osservate nei dati. Questa classe in generale è amplissima, tant’è che gli algoritmi di reti neurali sono approssimatori universali nello spazio delle funzioni. In altre parole, il modello in machine learning non rappresenta una sintesi dell’intuizione degli scienziati, bensì un contenitore vuoto e immensamente flessibile che si adatta ai dati usati per “addestrare” il modello. Ne consegue che parlare del “modello” ChatGPT non ha senso, si può solo parlare del modello in congiunzione con i dati che sono stati usati. Nessun ingegnere di OpenAI ha inserito in ChatGPT l’abilità di fare matematica; semplicemente, l’architettura infinitamente flessibile di ChatGPT si è adattata ai dati di modo da riuscire ad avere coerenza (ma non creatività) anche in ambito matematico.

Siamo quindi di fronte a strumenti potenti che possono generare testi coerenti con conoscenze scientifiche avanzate, ma senza intento comunicativo né capacità creativa, e senza una nozione di verità fattuale. Le implicazioni per la comunità scientifica di un uso diffuso di questi strumenti sono potenzialmente enormi. A titolo di esempio, vorrei illustrare come potrebbe cambiare il modo con cui gli scienziati comunicano tra loro attraverso le pubblicazioni.

Nel mio mondo ideale, la missione fondamentale di chi fa ricerca è la diffusione e l’avanzamento della scienza a beneficio dell’umanità. Il veicolo principale per questo sono le pubblicazioni, e negli ultimi anni la comunità si è sempre più impegnata a rendere queste pubblicazioni consultabili da tutti tramite il modello dell’open access. Questa vasta letteratura scientifica aperta è alla base della capacità di ChatGPT di conversare con competenza di materie scientifiche. Ma certamente non era intenzione dei ricercatori creare il data set di addestramento ideale per i software sviluppati dalle grandi aziende tecnologiche. Come del resto i milioni di contributori a Wikipedia sicuramente erano (e sono) animati da un desiderio di diffondere la conoscenza, e non di contribuire (gratis) allo sviluppo dei prodotti Microsoft.

E ora, proprio le pubblicazioni scientifiche potrebbero essere tra le prime vittime dei modelli generativi, come ChatGPT. Infatti, questi strumenti hanno la capacità di moltiplicare la produttività dei ricercatori quando usati bene (ad esempio, per migliorare la forma di un documento), ma soprattutto quando usati in maniera eticamente discutibile (ad esempio, per scrivere sezioni intere di un articolo). Ma gli autori sono solo uno dei pilastri del modello di pubblicazione scientifica; il lavoro successivo dei revisori e degli editor sta nel valutare la rilevanza, la correttezza e il grado di originalità di ogni pubblicazione, un compito essenziale che certamente non può essere delegato a strumenti software proni ad allucinazioni.

Il risultato prevedibile sarà un collo di bottiglia che rischia di far saltare il sistema delle pubblicazioni scientifiche. Se e come questo si verificherà, dipenderà in buona parte dall’onestà e integrità della comunità scientifica, ma in un mondo dove gli incentivi alla pubblicazione sono sempre crescenti si tratta certamente di un pericolo reale.

Quindici anni fa, Chris Anderson scriveva su Wired che l’avvento dei Big Data avrebbe portato alla fine della teoria, poiché i dati, interrogati da algoritmi intelligenti, avrebbero fornito direttamente tutte le risposte necessarie all’umanità. Questa profezia si è rivelata fallace, mentre è invece assai concreto il rischio che la teoria finisca perché i ricercatori annegheranno in un mare di articoli fabbricati dall’ IA generativa. Plausibili, coerenti, ma intellettualmente vuoti.

Naturalmente, l’IA in generale pone sfide enormi a tutta la società umana. In fondo a questo articolo, riporto una lista di contributi che ho trovato stimolanti, scritti da pensatori molto più autorevoli di me. Sono tutti in lingua inglese, ma questo oramai non è più un problema, grazie a un beneficio tangibile dell’IA.

Ringrazio Roberto Trotta per aver organizzato uno stimolante incontro alla SISSA, e la Scuola ed il gruppo di Teoria e Scienza dei Dati di cui faccio parte per il supporto.

Spunti di riflessione

• Timnit Gebru, Eugenics and the promise of Eutopia through Artificial General Intelligence, intervento alla 1st Conference on Secure and Trustworthy Machine Learning (2023).

• Emily Bender et al., On the Dangers of Stochastic Parrots, Proceedings of the FAccT '21 (2021). Si veda anche You are not a parrot su Intelligencer del New York magazine (2021).

• Tim Snyder, And we dream as electric sheep, Eurozine (2019)

• Tristran Harris and Aza Raskin, The AI dilemma, lezione per il Center for Humane Technology (2023).