Quest'anno al carnevale di Notting Hill, che ogni agosto a Londra celebra la black British culture, la London Metropolitan Police non ha utilizzato i sistemi di riconoscimento facciale che aveva sperimentato nel 2017. Le uniche misure straordinarie di sicurezza sono stati i metal detector e gli agenti speciali capaci di memorizzare i volti di una serie di ricercati talmente bene da identificarli in una folla. L'esperienza dello scorso anno infatti era stata deludente: delle 104 persone segnalate dai sistemi di riconoscimento facciale, 102 erano risultati dei falsi positivi: una volta fermati dagli agenti la loro identità non corrispondeva a quella indicata dall'algoritmo. L'organizzazione per i diritti civili Big Brother Watch aveva denunciato i limiti di questa tecnologia, affermando che penalizza in particolare le minoranze (donne e persone appartenenti alle minoranze etniche).

Nonostante i limiti evidenti altri corpi di polizia hanno impiegato lo stesso software in numerose occasioni. La South Wales Police lo ha testato sul campo dal 2017 in più di dieci eventi pubblici, alcuni di notevoli dimensioni, come la finale della UEFA Champions League disputata a Manchester nel giugno 2017. In quell'occasione il sistema automatico segnalò alla polizia 2.470 persone: 2.297 erano falsi positivi. Un elenco completo delle performance di questo algoritmo è stato pubblicato dalla stessa South Wales Police qui, in seguito a una Freedom of Information Request depositata ad aprile di quest'anno.

È proprio questa fede cieca negli algoritmi a essere messa in discussione da Hannah Fry nel suo libro "Hello World: Being Human in the Age of Algorithms" appena uscito nel Regno Unito e di cui il Wall Street Journal ha pubblicato un estratto.

La copertina del libro "Hello World: How to be Human in the Age of the Machine" di Hannah Fry. Doubleday, 2018, 256 pagine, 16,53 euro.

Il fatto che gli algoritmi siano basati sull'analisi matematica di campioni di dati ci spinge a pensare che i loro risultati siano più accurati e oggettivi del nostro giudizio. Fatichiamo a mettere in discussione l'output di un sistema di decisione automatico da una parte perchè ne ignoriamo il funzionamento interno e l'incertezza intrinseca che accompagna la risposta, dall'altra deleghiamo a sistemi automatici delle scelte delicate su cui non vogliamo avere responsabilità diretta.

Il caso dei sistemi di riconoscimento facciale impiegati dai corpi di polizia britannici a dispetto delle loro deludenti statistiche non è isolato. A maggio del 2015 la testata online The Intercept ha pubblicato documenti riservati della National Security Agency (NSA) sul programma Skynet, in possesso di Edward Snowden. Obiettivo di questo programma era individuare potenziali terroristi di Al Qaeda analizzando i dati relativi al traffico telefonico di 55 milioni di cittadini Pakistani in possesso di un cellulare. I tecnici della NSA dichiarano che l’algoritmo produce circa il 50% di falsi negativi (potenziali terroristi etichettati come innocenti) e lo 0,18% di falsi positivi (cittadini innocenti etichettati come terroristi). Su una popolazione di 55 milioni di persone questo vuol dire 99 000 innocenti scambiati per membri di Al Qaeda. Insomma, utilizzare un algoritmo del genere non sembra molto diverso da lanciare una moneta. Il problema in questo caso è dovuto al fatto che l'algoritmo di machine learning viene allenato su un campione di dati relativi a 10.000 soggetti che contiene solo 6 terroristi noti alle autorità americane. Almeno una parte degli oltre 400 attacchi con droni compiuti in Pakistan dal 2004 a oggi sono stati pianificati sulla base di questi sistemi.

Giustizia automatica ma fallace

I falsi positivi e falsi negativi sono all'ordine del giorno anche nelle aule dei tribunali statunitensi. Come evidenziato dall'inchiesta del team di giornalisti di Pro Publica, l'algoritmo COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), utilizzato per stimare il rischio che un sospettato commetta un nuovo crimine in attesa di essere giudicato, penalizza i neri rispetto ai bianchi. Analizzando i punteggi di rischio assegnati a 7.000 persone arrestate tra il 2013 e il 2014 nella contea di Broward in Florida, i giornalisti hanno concluso che COMPAS "sbaglia" in maniera diversa per bianchi e neri. La percentuale di arrestati che pur avendo ricevuto un punteggio elevato (alto rischio di recidiva) non hanno commesso reati nei due anni seguenti (falsi positivi) erano il 23% tra i bianchi e il 44,9% tra i neri. Al contrario coloro che avendo ricevuto un punteggio basso hanno comesso nuovi reati (falsi negativi) erano il 47,7% tra i bianchi e il 28% tra i neri.

L'algoritmo scivola sul "sapone razzista"

Di natura diversa è il caso del distributore di sapone razzista, che evidenzia un altro pericolo che corriamo quando affidiamo compiti, anche semplici, a sistemi automatici che non sono stati sottoposti a uno scrutinio opportuno. Nel video, condiviso su Twitter da Chukwuemeka Afigbo, un uomo nigeriano che lavora nel settore tecnologico, un distributore di sapone automatico non si attiva quando la mano di una persona nera si avvicina al sensore, mentre funziona perfettamente con toni di pelle sufficientemente chiari. Il messaggio, che è stato condiviso oltre 130 mila volte su Twitter, mette in evidenza il problema della scarsa rappresentanza delle minoranze nelle compagnie tecnologiche.

If you have ever had a problem grasping the importance of diversity in tech and its impact on society, watch this video pic.twitter.com/ZJ1Je1C4NW

— Chukwuemeka Afigbo (@nke_ise) August 16, 2017

Qualche soluzione

Sono questi alcuni degli esempi che Hannah Fry passa in rassegna nel suo libro per convincerci a dubitare degli algoritmi. In maniera costruttiva, però. Fry suggerisce infatti che un modo per affrontare questo problema è mettere esseri umani e algoritmi a lavorare insieme. In che modo? Da una parte programmando software che rendano esplicita l'incertezza delle loro risposte. Per esempio potrebbero restituire i risultati accompagnati da un livello di confidenza (qualcosa di simile fa l'Intergovernmental Panel on Climate Change nei suoi Assessment Report). Oppure un sistema di matching potrebbe fornire una lista di possibili soggetti simili da sottoporre alla valutazione di un operatore. Qualcosa di simile accade negli screening per il tumore al seno, in cui il software analizza un grande numero di immagini diagnostiche alla ricerca di una formazione maligna e ne individua un sottoinsieme in cui, a suo parere, è più probabile che ci sia un cancro. Queste immagini vengono poi sottoposte al vaglio di personale medico esperto. Ad ogni modo, la morale è: mai fidarsi ciecamente degli algoritmi.