Perché dobbiamo pretendere spiegazioni dagli algoritmi

La tirannia dell'algoritmo sta sempre più plasmando la nostra vita online: le bacheche dei social network rispondono a leggi dettate da codici a noi nascosti che selezionano cosa mostrarci, i sistemi anti-spam ci sollevano dal compito di aprire tutte le mail che riceviamo giornalmente ed i motori di ricerca indicizzano i risultati delle nostre ricerche senza darci la possibilità di conoscere i criteri utilizzati per la scelta.

Quando l'algoritmo, però, viene applicato in contesti in cui le decisioni che produce hanno delle ripercussioni legali sul singolo individuo, quali sono gli strumenti con cui possiamo difenderci? Per tutelare il cittadino, l'Unione Europea ha introdotto, con il Regolamento generale sulla protezione dei dati personali (GDPR), il diritto a pretendere delle spiegazioni dagli algoritmi.

Il Regolamento è stato adottato dal Parlamento Europeo il 14 aprile 2016 ma le sue disposizioni saranno applicabili a partire dal 2018 in tutti gli stati membri. L'obiettivo principale della Commissione europea nel GDPR è quello di restituire ai cittadini il controllo dei propri dati personali. Nell'articolo 20, ad esempio, si sancisce il diritto alla portabilità dei propri dati digitali, garantendone il trasferimento da un sistema a un altro senza che il controllore dei dati lo impedisca.

L'articolo 17, invece, introduce il diritto alla cancellazione, il cosiddetto "diritto all'oblio", di cui già si parla in Italia a seguito di una discussa sentenza della Cassazione secondo la quale un articolo online "andava cancellato dagli archivi perché era trascorso sufficiente tempo perché potesse assolvere il suo principio di utilità pubblica". Fortunatamente, però, ci sono altri esempi italiani in cui non è stato applicato, come quando il Garante per la privacy ha negato il diritto all'oblio ad un ex-terrorista.

Per quanto riguarda il diritto a pretendere spiegazioni dagli algoritmi, il Regolamento affronta questo tema in un'apposita sezione intitolata "Diritto di opposizione e processo decisionale automatizzato relativo alle persone fisiche", in cui si afferma, all'articolo 22, comma 1 che "L'interessato ha il diritto di non essere sottoposto a una decisione basata unicamente sul trattamento automatizzato, compresa la profilazione, che produca effetti giuridici che lo riguardano o che incida in modo analogo significativamente sulla sua persona". L'obiettivo è quello di garantire all'interessato "il diritto di ottenere l'intervento umano, di esprimere la propria opinione, di ottenere una spiegazione della decisione conseguita dopo tale valutazione e di contestare la decisione."

Due ricercatori dell'Oxford Internet Institute hanno recentemente pubblicato un paper in cui si analizza il potenziale impatto di questa normativa sull'uso degli algoritmi di machine learning nei processi decisionali.

Il loro studio si concentra principalmente sulla pericolosità della profilazione e sulle difficoltà tecniche che si presentano quando si deve spiegare il funzionamento di questo tipo di algoritmi. Per profilazione, come definita nel GDPR, si intende "qualsiasi forma di trattamento automatizzato di dati personali consistente nell'utilizzo di tali dati per valutare determinati aspetti personali relativi a una persona fisica, in particolare per analizzare o prevedere aspetti riguardanti il rendimento professionale, la situazione economica, la salute, le preferenze personali, gli interessi, l'affidabilità, il comportamento, l'ubicazione o gli spostamenti di detta persona fisica". Queste valutazioni sono attualmente utilizzate nei sistemi di selezione del personale e ricoprono un ruolo fondamentale nella scelta dell'erogazione di un prestito da parte di istituti di credito.

Questi processi automatizzati, come si dice nel paper, poggiano sull'ipotesi completamente sbagliata che i dati raccolti sono neutri e quindi il prodotto dell'algoritmo deve sempre essere corretto ed affidabile. In realtà i dati raccolti provengono dalla società in cui viviamo e se essa è piena di disuguaglianze anche i dati le conterranno. Ho contattato telefonicamente Bryce Goodman, uno dei due ricercatori che hanno pubblicato lo studio, ed ha aggiunto che non solo c'è una tendenza a credere che i risultati prodotti dagli algoritmi siano infallibili ma che c'è anche un altro errore pericolosissimo: la convinzione che incrementare il numero di dati raccolti sia la soluzione a tutti i problemi.

In un altro studio dal titolo "Big Data's disparate impact", si analizza estesamente il problema del bias dei dati e della discriminazione che può emergere da essi. Non solo infatti i dati che si raccolgono possono riflettere le stesse discriminazioni che persistono nella società ma possono addirittura indicarne di nuove che corrispondono a specifiche situazioni di esclusione e disuguaglianza e di cui non si era a conoscenza prima. Affidarsi ciecamente ai dati ed agli algoritmi può quindi rinforzare l'esclusione di minoranze vulnerabili dalla società.

Un esempio riportato nel paper è quello dell'app Street Bump, disponibile per i cittadini di Boston, la quale, sfruttando l'accelerometro all'interno degli smartphone, raccoglie informazioni sullo stato del manto stradale. I dati raccolti, però, sono altamente influenzati dalla distribuzione non uniforme di smartphone tra la popolazione: se tutte le risorse per sistemare le buche stradali fossero indirizzate solo sui quartieri in cui si hanno dei dati, il risultato sarebbe quello di incrementare i disservizi per la parte di popolazione che non possiede uno smartphone, discriminando sulla base della ricchezza dei cittadini.

Recentemente le decisioni prese dagli algoritmi stanno penetrando nel sistema della sicurezza e prevenzione dei rischi. Avevamo parlato qui su Motherboard del software PredPol, che permette di prevedere i crimini, ma sul quale si hanno delle perplessità per il modo in cui i dati vengono raccolti ed utilizzati. Allo stesso modo, negli Stati Uniti, un sistema di predizione, che aiuta a stabilire la durata della pena in base alla probabilità che il carcerato commetta nuovi crimini, è finito sotto accusa in un'inchiesta di ProPublica secondo la quale questo strumento discrimina su base razziale. A peggiorare la situazione è la completa assenza di studi che valutano la presenza di un bias razziale in questo tipo di sistemi automatizzati.

In entrambi questi casi, l'azienda non rende disponibile il codice proprietario che utilizza poiché considerato segreto commerciale. Il diritto a chiedere spiegazioni dagli algoritmi, introdotto dal Regolamento europeo, può tutelare i cittadini che subiscono questo tipo di processo decisionale automatizzato. Goodman, però, ricorda che ci sono diversi ostacoli da superare per garantire una significativa ed efficace spiegazione dell'algoritmo, ad esempio il "problema di come garantire il rispetto della privacy fornendo allo stesso tempo una spiegazione soddisfacente". Infatti, insieme al codice è auspicabile che siano diffusi anche i dati utilizzati per creare il modello, ma quei dati appartengono a milioni di cittadini e contengono informazioni sensibili.

Altri problemi riguardano la comprensione stessa del codice, come spiega a Motherboard Bryce Goodman, "Sarebbe da sconsiderati credere che semplicemente fornendo l'accesso all'algoritmo chiunque sia in grado di comprenderne il funzionamento. Non è solo una questione di trasparenza, è una questione di correttezza e trattamento equo," per questo motivo Goodman prevede una possibile creazione di organi esterni con "il compito di garantire sia che il software proprietario sia mantenuto confidenziale, sia che la spiegazione ed il trattamento dei dati siano soddisfacenti ed in rispetto della privacy degli utenti."

Allo stesso tempo, afferma Goodman, ci sarà la necessità di "personale preparato in filosofia e scienza dei dati, investendo molto su questo settore sia creando nuove figure lavorative ex novo, sia reinvestendo sul personale già esistente."

L'introduzione del diritto a chiedere spiegazioni dagli algoritmi è una scelta importante da parte dell'Unione Europea che rischia, però, di puntare i riflettori solo sul codice, invece deve essere un punto di partenza per analizzare anche come raccogliamo i dati e come vengono progettati gli algoritmi.

Questo nuovo diritto pone sicuramente delle sfide complicate alle aziende ma allo stesso tempo fornisce numerose opportunità alla comunità scientifica per riflettere ed ideare nuovi strumenti che evitino di reiterare la discriminazione già presente nella società. E soprattutto, dobbiamo abbandonare l'idea che esista un Iperuranio degli algoritmi da cui attingere codici infallibili, giusti ed universalmente validi. Gli algoritmi sono prodotti della mente umana, scritti ed implementati da ingegneri che producono modelli a partire da dati assolutamente non oggettivi e ricchi di bias, riflettendo discriminazioni che sono già contenute nella società.

Segui Riccardo su Twitter: @ORARiccardo