Gli algoritmi di riconoscimento facciale hanno un problema alla base

Nell'ultimo periodo si parla molto della mancanza di diversità in scienza e tecnologia. Eppure molti continuano a chiedere "E quindi? Che importa?" A queste domande si può rispondere in molti modi, ma il più semplice ed efficace sembrerebbe questo: perché team omogenei svilppano prodotti omogenei destinati a un mondo fortemente eterogeneo.

Questa rubrica approfondisce i prodotti, i programmi di ricerca e le conclusioni che vengono tratte non perché scienziati e designer si siano prefissati di discriminare qualcuno, ma semplicemente perché l'utente "normale" di riferimento è sempre lo stesso. Il risultato sono prodotti e ricerche viziate in partenza.

I sistemi di riconoscimento facciale sono ovunque: Facebook, aeroporti, centri commerciali. E sono destinati a essere ancora più onnipervasivi, nell'immediato futuro, come misura di sicurezza e come strumento per riconoscere i clienti abituali. Ad alcune persone renderà la vita più facile, certo. Ma visto che molti sistemi di riconoscimento facciale hanno seri problemi con i volti non-bianchi, per altre persone, una volta di più, non ricorderanno altro che: mi spiace, questa tecnologia non è pensata per te.

Queste cose hanno sempre una buona spiegazione tecnica. I computer sono progettati per rilevare alcune variabili e attivarsi quando un numero ragionevole di queste vengono soddisfatte. Gli algoritmi di riconoscimento sono addestrati usando set di volti. Se un computer non ha mai visto nessuno con gli occhi a mandorla o un tono più scuro di pelle non sa proprio come vederli. Nessuno gli ha spiegato come farlo. Più specificamente: sono state le persone che hanno progettato il sistema a non spiegarlo.

È sempre più evidente Il fatto che alcuni algoritmi possono essere intrinsecamente viziati dal pregiudizio. E alcune persone l'avevano predetto.

"È uno di quei casi in cui se capisci intuitivamente come si propaga un pregiudizio sistemico e capisci come come funziona il machine learning e ti fermi un secondo a chiederti: 'potrebbe portare a decisioni viziate?' Non puoi che risponderti sì;" spiega Sorelle Friedler, docente di informatica all'Haveford College. Ma quando ho chiesto una stima di quante fossero queste persone che si interessano ai pregiudizi sistemici e agli algoritmi, mi ha risposto poche, purtroppo."

Se chiedi alle persone che lavorano effettivamente a questi sistemi di riconoscimento facciale se si interessino o meno di questi problemi, la risposta generalmente è negativa. Moshe Greenshpan, fondatore e amministratore delegato di Face-Six, un'azienda che sviluppa sistemi di riconoscimento facciale per chiese e negozi, mi ha risposto che è del tutto irragionevole aspettarsi che i sistemi siano accurati al 100 percento e che non ha tempo per preoccuparsi a quelle che chiama "questioni di poco conto", come per esempio il fatto che un sistema non sia in grado di riconoscere correttamente un transessuale.

"Dubito che i miei ingegneri, o quelli di altre compagnie, portino avanti un'agenda segreta di razzismo e discriminazione," dice Greenshpan. "Semplicemente è una questione pratica, di casi d'uso."

E ha ragione, per lo più. Complessivamente nessuna di queste aziende sta programmando intenzionalmente i suoi sistemi perché ignorino la popolazione nera o molestino quella asiatica. Le persone che studiano i fenomeni di pregiudizio algoritmico, come Suresh Venkatasubramanian, professore di informatica all'università dello Utah, sono disposti a testimoniare di avere la stessa impressione. "Non credo ci sia la volontà o il desiderio di ignorare questi problemi," mi dice. "Penso semplicemente che non riescano proprio a riconoscere il problema. Nessuno passa il tempo a pensare al proprio privilegio e status, se fai parte della popolazione 'normale' non ne sei sorpreso."

Quando le aziende pensano a un errore del sistema, lo pensano in termini statistici. Un sistema che funziona il 95 percento del tempo è un sistema che funziona bene. Il problema di questo modo di pensare è che ignora una domanda fondamentale sulla distribuzione: quel 5 percento è distribuito a caso o riguarda uno specifico gruppo etnico? Se l'errore fosse distribuito casualmente, se il sistema sbagliasse egualmente per motivi come un'illuminazione non ottimale, allora 5 percento sarebbe davvero un margine d'errore molto limitato. Ma non è così, purtroppo.

Un algoritmo può essere accurato il 95 percento del tempo e non riuscire a riconoscere l'intera popolazione asiatica degli Stati Uniti. Potrebbe essere accurato per il 99 percento, addirittura, e non riconoscere un solo transessuale americano. Il problema diventa più grave nel momento in cui, per esempio, la dogana statiunitense intende iniziare a utilizzare estensivamente sistemi biometrici.

TSA agent Bramlet told me to get back in the machine as a man or it was going to be a problem.

Shadi PetoskySeptember 21, 2015

E abbiamo già visto quanto possano diventare dolori gli errori biometrici al confine. I transessuali che hanno avuto a che fare con i controlli della Transportation Security Administration (TSA) possono raccontare ogni genere di storia umiliante originata da qualche discrepanza tra la propria identità dichiarata e i risultati degli scanner biometrici.

Shadi Petosky ha commentato in diretta su twitter la sua detenzione all'aeroporto internazionale di Orlando, Florida, dove "l'agente della TSA bramlet mi ha ordinato di rientrare nella macchina come uomo o ci sarebbero stati problemi." Da allora sono emerse diverse vicende a tema "viaggiare come transessuale", tutte raccontano cosa succede quando i risultati dello scanner si scostano dalle aspettative degli agenti. L'anno scorso la TSA si è impegnata a smettere di utilizzare il termine "anomalia" per descrivere i genitali dei passeggeri transessuali.

I sistemi di riconoscimento facciale che si sbagliano e taggano te e i tuoi amici come scimmie o gorilla, o si limitano a ignorarti a causa del colore della tua pelle, sembrano rientrare perfettamente tra le forme di pregiudizio che le persone di colore sono costrette ad affrontare quotidianamente. Ricordano costantemente, una volta di più, che: questa tecnologia, questo sistema, non è pensato per te. Non avevamo te in mente, quando l'abbiamo costruito. Sentirsi ricordare continuamente di non essere l'utente giusto è frustrante, anche se nessuno l'ha fatto di proposito.

Questi esempi, stando alle mie fonti, sono solo la punta dell'iceberg. In questo momento i problemi legati al riconoscimento facciale non sono catastrofici, per la maggior parte delle persone. Ma più la tecnologia si diffonderà e più gravi saranno i pregiudizi intrinseci che si porta dietro. "Mi sbilancerei nel dire che è 'già' un problema," dice Jonathan Frankie, tecnico della facoltà di legge dell'università di Georgetown. "Questi sistemi si stanno facendo largo in posti dove saranno un reale problema." Cosa succederà quando le banche iniziaranno a implementarli come misure di sicurezza o gli edifici e gli aeroporti ci faranno affidamento per far entrare e uscire le persone?

Quindi cosa possono fare le compagnie? In primo luogo ammettere l'esistenza del problema. In un settore dove gli amministratori non sono noti per la sensibilità nel maneggiare questioni riguardanti la diversità potrebbe volerci un po' di tempo. In seconda istanza potrebbero migliorare le assunzioni: variegare la composizione del tuo team di sviluppo non può che aiutarti a predirre e limitare i pregiudizi endemici del tuo algoritmo.

Ma esistono anche soluzioni. La più ovvia sarebbe addestrare meglio il tuo algoritmo, usando set di volti meno omogenei. Non è facile. I ricercatori, nelle università, hanno accesso a pochi database di volti, quasi tutti costruiti a partire da studenti che si sono offerti volontari di essere fotografati. Compagnie slegate dalle istituzioni, com Face-Six, devono assemblare il proprio database su internet o acquistarlo.

Un'altra cosa che le aziende potrebbero fare è far testare i propri algoritmi a terze parti.

Sia Venkatasubramanian che Sorelle lavorano allo sviluppo di test per algoritmi che aiutino a rilevare questo genere di problemi. Il National Institute of Standards and Technology ha un programma che testa i software di riconoscimento facciale sulla base della loro accuratezza e consistenza. Le compagnie, però, devono decidere di affidarsi a quest i test; prima di tutto devono esprimere la volontà di scoprire eventuali pregiudizi. E ora come ora non hanno molti incentivi a farlo.

Il pregiudizio intrinseco ai sistemi di riconoscimento facciale è forse uno dei più facili da comprendere e risolvere: un computer conosce solo quello che gli è stato insegnato. Mostrargli una maggior varietà di volti ne migliroerà certamente l'accuratezza. Ci sono, ovviamente, molti attivisti nel campo della privacy che si chiedano se sia davvero auspicabile che questi sistemi migliorino. Ma se questi sistemi esistono e continueranno a farlo il minimo che si possa chiedere è che siano equi.