newsletter #1we

finesettimana #1 18 settembre 2020 a cura di Chiara Sabelli

Buon venerdì, questa settimana parliamo soprattutto del software GPT-3 che ha scritto un saggio pubblicato sul Guardian, riaccendendo la discussione su quanto siamo vicini a un'intelligenza artificiale generale. Poi: fosfina nell'atmosfera di Venere, incendi in California, di come anche le prove scientifiche più solide (figuriamoci quelle incerte) passino attraverso il filtro delle emozioni, il 'vaccino di Oxford' contro COVID-19, immunità dei pipistrelli e test rapidi. Sì, è vero, dei 'sei pezzi belli' 3 sono sul nuovo coronavirus. A mia discolpa cito Clive Cookson, science editor del Financial Times, a ESOF2020 Trieste: 'da marzo ho scritto 150 pezzi sul coronavirus e 5 su altri argomenti'. Pian piano cercherò di compensare questo bias. Buona lettura e al prossimo venerdì (per segnalare questa newseltter agli amici ecco il link per l'iscrizione).

SONO UN ROBOT E VENGO IN PACE

La scorsa settimana il Guardian ha pubblicato un editoriale scritto dal software per la generazione di linguaggio GPT-3, il più potente in circolazione. I redattori hanno fornito a GPT-3 alcune frasi di input, il cosiddetto prompt, che descrivevano il compito assegnato: comporre un saggio che convincesse i lettori che l'intelligenza artificiale non è una minaccia per l'umanità. Leggendo il testo, appare plausibile che sia stato scritto da un essere umano, anche se gli argomenti a sostegno della tesi si susseguono in maniera un po' sconnessa (GPT-3 ha svolto il compito otto volte e i redattori hanno combinato e corretto queste otto versioni ottenendone una finale, un po' come avrebbero fatto per un editoriale scritto da una persona). La pubblicazione del Guardian ha riacceso il dibattito cominciato poco prima dell'estate, quando un gruppo di esperti ha avuto accesso a GPT-3, l'ultimo generatore di linguaggio della società OpenAI. Il dibattito ruota attorno a due domande. La prima è: quanto siamo vicini a sviluppare una intelligenza artificiale generale? Con l'espressione intelligenza artificiale generale (in inglese artificial general intelligence, AGI) ci si riferisce a una macchina con i poteri di apprendimento e di ragionamento della mente umana. La seconda domanda è: GPT-3 rappresenta un pericolo per l'umanità? Senza l'ambizione di voler rispondere a queste due domande - che francamente corrono il rischio di suonare mal poste, le prendiamo come pretesto per chiederci quali direzioni stia prendendo la ricerca nel campo dell'intelligenza artificiale e quale sia il nostro rapporto con l'automazione, sia come individui che come società. La prima ci permetterà infatti di capire quanta importanza stanno acquisendo i dati a discapito della teoria. La seconda invece ci spingerà ad analizzare gli aspetti politici e sociologici di questa area. Cos'è e come funziona. GPT-3 è il terzo esemplare della famiglia di generative pre-trained transformer models sviluppati dalla società OpenAI di San Francisco. Semplificando all'estremo il funzionamento di questo modello, potremmo dire che si tratta di una rete neurale che viene allenata su un enorme quantità di testi (non conosciamo il valore esatto, ma sembra che la sezione inglese di Wikipedia, con circa 6 milioni di articoli, costituisca solo lo 0,6% dei suoi dati di allenamento) alla ricerca di regolarità (pattern) del linguaggio. Il risultato di questo allenamento è il valore di 175 miliardi di parametri (l'intensità associata alle connessioni tra i nodi che costituiscono la rete). Un'enormità, soprattutto se confrontata con i suoi predecessori (GPT-2 ha 1,5 miliardi di parametri e il T-NLG di Microsft, il secondo più potente attualmente, ne ha 17 miliardi). Giusto per dare un senso alle parole, diciamo che l'espressione transformer identifica una famiglia di generatori di linguaggio naturale basati su una deep neural network con una certa architettura e l'espressione pre-trained segnala che il sistema è allenato su dati non etichettati e non specifici. Non etichettati vuol dire che la procedura di apprendimento non è supervisionata dal programmatore o utilizzatore (si dice anche self-supervised o unsupervised). Non specifici vuol dire che GPT-3 apprende da una varietà di tipologie di testo: libri in formato digitale, articoli di Wikipedia, manuali di programmazione. Allenandosi su questa grandissima quantità di dati GPT-3 è sostanzialmente capace di prevedere quale sequenza di parole è più probabile che segua la sequenza di parole data come input (fonti: nel paragrafo introduttivo di questo articolo una tentativo di spiegazione, ma anche i blog post di OpenAI sono abbastanza chiari, qui e qui). Proprio la varietà dei testi dati in pasto al sistema nella sua fase di apprendimento rende GPT-3 unico nel suo genere. GPT-3 è in grado di 'completare' diversi incipit generando prosa, poesia, codice informatico, spartiti musicali, testi legali, aprendo la strada a un'incredibile varietà di possibili applicazioni, dai chatbot agli assistenti digitali fino ai sistemi di ausilio alla programmazione. OpenAI spera che grazie agli esperimenti in corso sulla versione beta il prodotto diventi interessante per il mercato, così da finanziare il suo ambizioso progetto di ricerca. Ma quanto è bravo GPT-3? I test effettuati sono tanti e di diversi tipi. Molti sono stati condivisi su Twitter. I risultati, a una prima occhiata, sono sorprendentemente buoni, ma c'è da dire che probabilmente sono state condivise le performance migliori del sistema, per via di quel genuino e talvolta immotivato entusiasmo che gli esseri umani hanno quando valutano l'intelligenza di una macchina (uno dei primi esempi è il terapista rogersiano impersonato dal chatbot ELIZA nel 1966, per provarlo cliccare qui). A una seconda occhiata, però, le cose sembrano meno solide. Gary Marcus e Ernest Davis, entrambi professori della New York University e veterani del campo, hanno realizzato l'esperimento a mio parere più rilevante per cercare di rispondere alla nostra prima domanda 'quanto siamo vicini a un'intelligenza artificiale generale?' (e lo hanno documentato qui) riuscendo a mettere alla prova la capacità di ragionamento di GPT-3 piuttosto che la sua capacità di generare testi in un ottimo inglese (utilizzando anche tante espressioni idiomatiche). I loro risultati sono scoraggianti e mostrano come a GPT-3 manchi una reale comprensione del mondo. Durante la fase di allenamento della rete, GPT-3 non impara sul mondo ma sul funzionamento del testo prodotto dagli esseri umani e come questi utilizzino parole in relazione ad altre parole. Vale a dire che privilegia l'apprendimento della sintassi rispetto a quello della semantica (e ne è conferma il fatto che se stimolato con il 'giusto' testo GPT-3 alla fine darà la giusta risposta). Un esempio è quello in cui Marcus e Davis chiedono a GPT-3 cosa fare per spostare un tavolo in una stanza la cui porta di ingresso è più stretta del tavolo. GPT-3 risponde di utilizzare una sega da tavolo per allargare la metà superiore dell'apertura, invece di suggerire 'ruota il tavolo in verticale' oppure 'prova a svitare le gambe del tavolo'. Pur volendo seguire il suo consiglio, una sega da tavolo non sarebbe adatta visto che è una sega installata su un tavolo da lavoro e non una sega utile per far passare tavoli larghi da porte strette. Anche Melanie Mitchell, professoressa al Santa Fe Institute, conduce un esperimento interessante, proponendo a GPT-3 degli esercizi di ragionamento per analogia, in cui GPT-3 fallisce. Buonsenso. Insomma, per i più severi ciò che sembra mancare a GPT-3 è il buonsenso di cui gli esseri umani (o almeno la maggior parte) sono dotati. La speranza che aumentando i dati e la complessità della rete neurale GPT-3 apprenda 'autonomamente' questo buonsenso sembra disattesa. L'utilizzo del termine 'speranza' non è una concessione stilistica, o almeno non troppo. Nessuno sa infatti come funzionino le reti neurali, cioè come e se ci sia un processo di astrazione che conduce l'apprendimento. Ora c'è un'area della matematica che sta cercando di capire come insegnare a questi sistemi a spiegare se stessi. Il buonsenso è stato definito la materia oscura dell'intelligenza artificiale da Oren Etzioni, cofondatore di Microsoft e padre dell'Allen Institute for AI, e ci sono dei tentativi di equipaggiare di buonsenso i sistemi di intelligenza artificiale. La missione di OpenAI. Osservatori come Marcus e Davis ma anche John Naughton, con una cattedra di Public Understanding of Technology, sembrano quindi indicare che la strada intrapresa da OpenAI non è quella che ci condurrà a una intelligenza artificiale generale. La scelta di OpenAI di perseguire esclusivamente questa strategia di ricerca è motivata dalla missione con cui è stata fondata nel 2015 e giustifica anche il cambiamento della sua organizzazione nel tempo (da non profit finanziata con 1 miliardo di dollari dai più famosi venture capitalist della Silicon Valley, tra cui Elon Musk, a for profit legata a doppio filo con Microsoft). La 'OpenAI charter', una specie di giuramento di Ippocrate che tutti i dipendenti devono prestare prima di cominciare a lavorare nella società e a cui periodicamente devono dimostrare di aderire (ricevendo anche un voto), sintetizza la missione del laboratorio così: guidare lo sviluppo di un'intelligenza artificiale generale in modo che tutte le componenti della società ne beneficino. Contano di costruire autonomamente questo sistema, ma nel caso non ci riuscissero si riterranno comunque soddisfatti se il loro lavoro aiuterà altri a raggiungere il risultato. Promesse così importanti che qualcuno teme che si avvicini un nuovo inverno dell'intelligenza artificiale, come quelli degli anni 70 e del periodo tra la fine degli anni 80 e l'inizio dei 90, quando previsioni iperboliche si scontrarono con la realtà causando un'improvvisa perdita di interesse e il taglio drastico dei finanziamenti. La giornalista Karen Hao ha relizzato un bellissimo reportage su OpenAI intervistando dozzine di dipendenti, il CTO e il direttore scientifico. L'atmosfera che descrive è molto diversa da quella rappresentata nella carta fondativa del 2015 e rispecchia i cambiamenti di rotta che OpenAI ha compiuto nel frattempo. Nel 2017 i vertici del laboratorio si rendono conto che la società non può rimanere una non profit se intende davvero provare a raggiungere il suo obiettivo primario. Il progressivo e poderoso scale up dei modelli già esistenti richiede una capacità computazionale insostenibile finanziariamente per una non profit. Così OpenAI cambia faccia. A febbraio del 2018 Musk si dimette dal ruolo di amministratore delegato. A marzo del 2019 viene istituito un braccio for profit (anche se con un tetto sui ritorni degli investitori - pari a 100 volte il valore del capitale investito!). A luglio del 2019 Microsft investe 1 miliardo di dollari in OpenAI, diventando il provider esclusivo dei servizi di cloud computing. Nel frattempo, a febbraio del 2019, OpenAI annuncia di aver messo a punto GPT-2, un modello capace di generare saggi e articoli di giornale convincenti semplicemente schiacciando un bottone. Contrariamente a quanto dichiarato nella sua carta però, GPT-2 non viene reso pubblico perché OpenAI teme che possa essere strumentalizzato per produrre un volume immenso di fake-news, salvo poi decidere di rilasciare il codice dopo qualche mese, non avendo trovato prove di questo suo iniziale timore. Un nuovo paradigma. La parabola del laboratorio di San Francisco è probabilmente dovuta al fatto che per tener fede alla sua missione ha deciso di sposare l'approccio più conservativo (più veloce ma non necessariamente più promettente) all'AGI, ovvero quello di utilizzare le tecniche di machine learning già esistenti e potenziarle in dimensione e complessità. Esiste una seconda corrente di pensiero nella comunità dell'intelligenza artificiale, sostenuta tra gli altri da Yann Le Cun uno dei pionieri del deep learning e vincitore del Turing Award nel 2018, che ritiene necessario un cambio di paradigma: i dati da soli non bastano. Il rischio di non supervisionare. Affidare ai dati un ruolo così prominente è dunque una scommessa rischiosa dal punto di vista tecnico, ma non solo. Con la decisione di utilizzare enormi quantità di dati per allenare i modelli, viene la necessità di farlo senza supervisione né filtro. La quantità di risorse (umane) necessarie a controllare i testi su cui apprende GPT-3 sarebbe insostenibile. Questo ha una conseguenza, che è ormai ben nota e documentata per gli algoritmi sviluppati per risolvere compiti specifici: bias e ingiustizie presenti nei dati saranno riprodotte dal sistema. Così accade che alla parola 'Jews' GPT-3 risponde con 'Jews love money, at least most of the time', alla parola 'Black' risponde con '#blacklivesmatter is a harmful campaign' e alla parola 'Women' con 'Womend have such a hard time being women. They have periods, do the lifting, and always have to ask for directions'. Con questi esempi Jerome Pesenti, a capo dell'intelligenza artificiale di Facebook, richiama la comunità su Twitter a lavorare per una IA responsabile e inclusiva. Emissioni. John Naughton sottolinea infine un altro rischio connesso a questo tipo di machine learning, quello relativo al costo ambientale. Anche se non esistono stime precise della quantità di anidride carbonica emessa nell'allenamento ed esecuzione di questi sistemi di generazione del linguaggio, c'è un generale accordo sul fatto che siano estremamente costosi dal punto di vista energetico. Il parallelo che Naughton propone è con le Bitcoin, concludendo il suo editoriale con la domanda: ma prima o poi non dovremmo chiederci se il pianeta può permetterselo?

SEI PEZZI BELLI

1 Trovati possibili segni di vita nelle nubi di Venere Osservando la luce emessa dall'atmosfera di Venere, gli scienziati hanno rilevato la presenza della molecola fosfina a una concentrazione di 20 parti per miliardo. Attualmente gli unici processi chimici che conosciamo in grado di giustificare questa osservazione sono quelli di ossidoriduzione effettuati da microrganismi anaerobi [The Economist] 2 L'estensione degli incendi che hanno colpito la California quest'anno è dovuta al cambiamento climatico. Ma anche a una cattiva manutenzione delle foreste Fino all'inizio del 1900 le foreste della Sierra Nevada venivano gestite con periodici incendi controllati per diminuire il rischio di devastanti incendi spontanei. La pratica venne abbandonata e, secondo i dati raccolti nel 2015, la foresta era più densa di un secolo prima. Ma non in salute. A causa del cambiamento climatico i periodi di siccità sono diventati sempre più frequenti e si è diffusa nella zona una specie letale di insetti. Gli alberi sono morti in grande quantità e cadendo al suolo si sono mescolati con la vegetazione sottostante creando uno strato di legna secca pronta a prendere fuoco. Riprendere la pratica degli incendi controllati adesso è difficile: il cambiamento climatico ha ridotto enormemente le giornate dell'anno con le condizioni meteo adatte (secche ma non troppo) [San Francisco Chronicle] 3 Quando i fatti generano in noi emozioni negative tentiamo di ignorarli Le nostre emozioni filtrano le informazioni che riceviamo, anche se sono basate su solide prove scientifiche. E, quando l'argomento diventa questione di identità, essere più competenti o più esperti o più colti, finisce per esasperare questa tendenza. Tim Harford, l'undercover economist del Financial Times, ha pubblicato un nuovo libro in cui racconta qual è il nostro rapporto con i numeri che descrivono aspetti sensibili della realtà in cui viviamo. Il suo consiglio è di contare fino a 3 [The Guardian] 4 Cosa possono insegnarci i pipistrelli sull'immunità alla COVID-19? Tra i virus che raggiungono gli umani tramite un salto di specie, quelli arrivati dai pipistrelli sono più virulenti rispetto a quelli originati da altri mammiferi. Eppure, per loro non rappresentano un grosso pericolo. Il sistema immunitario innato dei pipistrelli produce grandi quantità di interferone innescando la prima risposta all'attacco del virus e impedendogli di replicarsi (nei casi gravi di COVID-19 si è osservata una risposta ritardata e incontrollata del sistema immunitario innato). Inoltre, i virus che si sono evoluti insieme ai pipistrelli sono diventati resistenti a una delle risposte del sistema immunitario innato degli esseri umani: la febbre. Anche la comprensione della parte adattiva della risposta immunitaria sembra promettente per sviluppare trattamenti e vaccini [Financial Times] 5 Come hanno fatto Sarah Gilbert e il suo team di Oxford ad arrivare così lontano, così velocemente nello sviluppo di un vaccino contro la COVID-19? "I tempi per ottenere i primi risultati sull'efficacia, obiettivo dello studio clinico di fase 3 attualmente in corso, dipendono dal livello di trasmissione del virus all'interno del gruppo di pazienti vaccinati. Quindi difficili da prevedere. Anche quando avremo dimostrato l'efficacia del vaccino, la strada sarà ancora lunga, dovremo non solo produrlo, ma anche spostarlo nel mondo e far sì che i centri vaccinali riescano a vaccinare le persone. È necessario quindi abbassare un po' le aspettative delle persone" [Life sicentific - BBC Radio 4] 6 Quanto sono promettenti i test rapidi per la ricerca dell'antigene del virus SARS-Cov-2? I test che cercano gli antigeni del nuovo coronavirus sono in corso di sviluppo in diversi Peaesi del mondo e in alcuni sono già stati approvati dalle autorità farmaceutiche. Più veloci ma meno sensibili rispetto al test che ricerca l'RNA virale nella saliva con la tecnica della PCR. Il risultato arriva in qualche decina di minuti ma la probabilità di identificare un positivo è tanto più piccola quanto più tempo è passato dalla prima manifestazione dei sintomi. Il rischio è di ottenere un senso di falsa sicurezza inducendo le persone a non rispettare i comportamenti utili a contenere il contagio [Nature]

Per suggerimenti e commenti scrivere a: [email protected]

Se non vuoi più ricevere la newsletter clicca qui

PS: per tenere Scienza in rete fuori dallo spam aggiungi la nostra mail [email protected] tuoi contatti (per Gmail, vai a contacts.google.com e clicca su "crea contatto"). Se Scienza in rete finisce nelle promozioni di Gmail, trascinala nella casella della tua posta in entrata per non perdere mai un numero!

Segui Scienza in rete

By: