L’ultimo esempio lo abbiamo avuto a inizio novembre, quando un noto sviluppatore di software danese, David Heinemeier Hansson, si è scagliato contro Apple Card: «Io e mia moglie facciamo la dichiarazione dei redditi congiunta, ma l’algoritmo di Apple è sessista, perché crede che io mi meriti una linea di credito 20 volte superiore alla sua».
Il problema è che l’algoritmo in questione non agisce spontaneamente, ma è stato costruito su serie storiche di dati, che non tengono in considerazione i cambiamenti della società. «Se devi massimizzare il grado di solvibilità e guardi ai dati storici, storicamente gli uomini hanno sempre guadagnato più delle donne», ci spiega la professoressa della New York University Meredith Broussard, autrice del libro Artificial Unintelligence: How Computers Misunderstand the World. Dai dati, infatti, gli algoritmi imparano le regole per classificare un nuovo caso basandosi su quelli già etichettati, che si definiscono «gold truth» (una sorta di verità assoluta): l’algoritmo capisce come comportarsi in base ai dati di cui dispone, trasformando ogni caso in un insieme di variabili, e apprendendo quali di queste influenzano la classificazione. L’obiettivo è riprodurre la «gold truth», che però a volte può essere influenzata da un pregiudizio statistico che confonde l’apprendimento.
Un caso analogo si è verificato con un algoritmo messo a punto da Amazon nel 2014 per selezionare le persone da assumere attraverso la scrematura dei curriculum ricevuti. Il programma si basava sui dati estrapolati dai curriculum delle persone assunte negli ultimi dieci anni — quasi esclusivamente uomini — e di conseguenza scartava automaticamente le donne. Quando l’ha capito, Amazon — i cui ruoli manageriali sono nel 74% dei casi ricoperti da uomini — ha abbandonato il progetto. Nonostante questo, secondo uno studio di Pwc, le organizzazioni internazionali americane, europee, e asiatiche continuano ad affidare agli algoritmi circa il 40% delle funzioni che riguardano le risorse umane.
La discriminazione avviene spesso nei settori che si affidano alla tecnologia per automatizzare alcuni processi decisionali. Secondo uno studio della Brookings Institution, ad esempio, la valutazione dei rischi usata dai giudici americani per stabilire se rilasciare su cauzione un detenuto in attesa di processo (il programma Compas) discrimina di default gli afroamericani che, a parità di rischio con un detenuto bianco, si ritrovano cauzioni più alte e periodi più lunghi di detenzione. Se fino a qualche anno fa il giudice decideva valutando caso per caso, ora si affida ad un voto deciso da un algoritmo costruito su serie storiche di dati. Risultato: sono stati segnalati ad alto rischio, senza aver commesso nuovi crimini, il 44,9% degli afroamericani, contro il 23,5% dei bianchi.
Sempre negli Stati Uniti, la rivista Science ha messo in evidenza come un algoritmo usato comunemente dalle assicurazioni sanitarie consideri i pazienti neri più sani di quelli bianchi: invece di basarsi sui dati clinici delle singole patologie, i programmatori hanno utilizzato come indicatore di riferimento i dollari spesi da ogni singolo paziente assicurato per curarsi. Quello bianco spende mediamente di più e quello nero di conseguenza viene considerato più sano, quindi le assicurazioni gli passano meno cure. Se non ci fosse un criterio di razza, i pazienti neri che ricevono trattamenti medici passerebbero dal 17,7% al 46,5%.
Tutto questo succede perché gli algoritmi non hanno la flessibilità e la capacità di giudizio umana e, basandosi su modelli statistici e matematici di lungo periodo, finiscono per incentivare stereotipi o discriminazioni. Un allarme lo ha lanciato l’Osservatorio sulla povertà estrema delle Nazione Unite: la digitalizzazione selvaggia dei servizi sociali nella pubblica amministrazione — il cosiddetto «digital welfare state» — in molti casi aumenta le disuguaglianze e colpisce le fasce più povere della popolazione, sia nei Paesi industrializzati che in quelli in via di sviluppo, trasformando i bisogni dei cittadini in numeri.
Proprio per questa ragione il 5 febbraio il tribunale dell’Aja ha disposto l’immediata sospensione dell’algoritmo Syri, adottato a partire dal 2014 dal ministero per gli Affari sociali olandesi. Incrociava i dati di 17 database — fra cui quelli fiscali, medici, dei servizi sociali e delle utenze — per capire se chi percepisce sussidi o altre forme di welfare poteva essere incline a commettere frodi, ma veniva utilizzato nei quartieri più poveri e ad alta densità di immigrati dei Paesi Bassi. Secondo il tribunale si trattava di una violazione dei diritti umani. «Una sentenza storica, che impedisce al Governo di spiare i poveri», ha commentato Philip Alston, il rappresentante speciale dell’Onu sulla povertà.
In Italia l’algoritmo Isa che calcola quanto ogni cittadino deve al fisco è in corso di revisione, perché si è scoperto che era sbagliato: era stato programmato sulla dichiarazione dei redditi degli ultimi dieci anni senza considerare le variabili dell’anno sul quale paghi le tasse. Sull’utilizzo degli algoritmi si sono espressi sia il Tar del Lazio che il Consiglio di Stato: possono far parte del processo amministrativo, hanno scritto, ma a condizione che siano comprensibili e soggetti all’intervento umano.
Secondo la professoressa Broussard, per vent’anni si è pensato che algoritmi fossero migliori dell’uomo, ma ora ci stiamo rendendo conto che non è così. E infatti sta nascendo una nuova industria di specialisti pagati per prevedere ed eludere le falle tecnologiche, come la O’Neil Risk Consulting & Algorithmic Auditing, che è stata la prima a sottoporre gli algoritmi a una revisione esterna. Valuta la trasparenza con la quale è costruito il software, l’equità, l’accuratezza, e aiuta i propri clienti a individuare le conseguenze dei propri algoritmi. Questa pratica è diventata un trend comune, al punto che anche colossi come Deloitte hanno un settore dedicato alla gestione dei rischi degli algoritmi dei loro clienti. A pagamento, ovviamente.
Italians di Beppe Severgnini 
Il Twitter del direttore 