De ingebouwde vooroordelen van gezichtsherkenning

Er zijn een hoop gesprekken gaande over het gebrek aan diversiteit in technologie en wetenschap. Ook zijn er een hoop mensen die nog altijd "Dus? Waarom maakt dat uit?" zeggen. Er zijn een hoop manieren om die vraag te beantwoorden, maar de makkelijkste manier is de volgende: omdat een homogeen team homogene producten maakt voor een zeer heterogene wereld.

In deze column onderzoeken we de producten, onderzoeken en conclusies die niet gemaakt worden omdat een wetenschapper of designer met opzet wil discrimineren, maar omdat de 'normale' gebruiker er meestal hetzelfde uitziet. Het resultaat daarvan zijn producten en onderzoeken die bij voorbaat bevooroordeeld zijn.

Gezichtsherkenning vind je tegenwoordig overal: Facebook, vliegvelden, winkelcentra. Het is een systeem dat op het punt staat om alomtegenwoordig te zijn – van beveiliging tot een manier om vaste klanten te herkennen. Voor sommige mensen zal dat betekenen dat sommige interacties een stuk gestroomlijnder zullen lopen. Maar omdat veel gezichtsherkenningssystemen moeite hebben met niet-blanke gezichten, is het voor hen een simpele reminder: deze technologie is niet gemaakt voor jou.

Er zijn genoeg anekdotes om hier uit de kast te trekken: We zouden het kunnen hebben over die keer dat Google's beeldherkenningsalgoritme twee donkere vrienden als "gorilla's" tagde, of toen Flickr's systeem dezelfde fout maakte en een donkere man als "dier" en "aap" categoriseerde. Of toen Nikon's camera, die ontworpen is om knipperende ogen te detecteren, constant een Aziatische gebruiker verzocht om haar ogen open te doen. Of toen HP's webcams makkelijk een blank gezicht konden tracken, maar een donker gezicht niet zagen.

Er zijn hier altijd technische verklaringen voor. Computers zijn geprogrammeerd om bepaalde variabelen te meten en acties uit te voeren als die variabelen aan bepaalde waarden voldoen. Algoritmes worden getraind met een verzameling gezichten. Als de computer weinig mensen met een donkere huid of smallere ogen heeft gezien, zal die deze ook niet herkennen. De computer weet niet beter. Of specifieker: de mensen die de computer programmeerden, hebben het de computer niet geleerd.

Het feit dat algoritmes ingebouwde vooroordelen hebben wordt steeds duidelijker. En sommigen zagen dit probleem aankomen.

"Als je begrijpt hoe systemische vooroordelen werken en je begrijpt hoe zelflerende algoritmes werken, dan kun je de vraag 'zouden deze computers bevooroordeelde beslissingen kunnen maken?' stellig met 'Ja' beantwoorden," zegt Sorelle Friedler, een professor en computerwetenschapper bij Haverford College. Maar toen ik haar vroeg hoeveel mensen iets begrijpen van systemische vooroordelen en zelflerende algoritmes, antwoordde ze "helaas weinig."

Als je mensen die herkenningsalgoritmes bouwen vraagt of ze zich zorgen maken om deze problemen, zeggen ze meestal nee. Moshe Greenshpan, oprichter van Face-Six, een bedrijf dat gezichtsherkenning voor kerken en winkel ontwikkelt, zegt dat het onredelijk is om te verwachten dat deze systemen 100% nauwkeurig zijn. Hij maakt zich geen zorgen over "kleine problemen," zoals dat het systeem transgenders niet kan plaatsen.

"Ik denk niet dat mijn programmeurs of programmeurs bij andere bedrijven een geheime agenda hebben om meer aandacht te geven aan een bepaald ras," zegt Greenshpan. "Het ligt gewoon aan het gebruik."

En hij heeft grotendeels gelijk. Niemand bij die bedrijven is met opzet hun systemen zo aan het programmeren dat ze donkere mensen negeren of Aziaten plagen. Mensen die onderzoek doen naar systemische vooroordelen, zoals professor Suresh Venkatasubramanian van de University of Utah, beamen dat. "Ik denk niet dat er een bewuste wil is om deze problemen te negeren," zegt hij. "Ik denk dat ze er gewoon helemaal niet aan denken. Niemand denkt veel na over privileges en status, als ze de standaard zijn."

Als bedrijven nadenken over fouten, zien ze het statistisch. Een systeem dat 95 procent van de keren werkt, is meestal goed genoeg. Maar dat mist een simpele vraag over distributie: Is die 5 procent foutmarge willekeurig verdeeld, of is het een bepaalde groep? Als een systeem willekeurig fouten maakt, als het gelijkwaardig faalt over alle mensen door slechte belichting of hevige weerkaatsing, is 5 procent misschien prima. Maar als het bij groepen faalt, is het een ander verhaal.

Een algoritme kan 95 procent accuraat zijn en nog steeds alle Aziaten in de Verenigde Staten missen. Of 99 procent nauwkeurig zijn en alle transgenders in de VS verkeerd classificeren. Dit wordt vooral problematisch als bijvoorbeeld de Amerikaanse grensbewaking overgaat op biometrische metingen.

TSA agent Bramlet told me to get back in the machine as a man or it was going to be a problem.
— Shadi Petosky (@shadipetosky) September 21, 2015

Aan de grens hebben we al gezien hoe het falen van biometrische machines pijnlijk kan uitpakken. Transgenders die langs de grens moeten hebben allerlei vernederende verhalen over wat er gebeurt als hun scans niet overeenkomen met hun opgegeven identiteit. Shadi Petosky live-tweette haar aanhouding bij Orlando International Airport in Florida, waar ze schreef dat "TSA-agent Bramlet vertelt me dat ik als man terug in de machine moet stappen, of problemen krijg." Sindsdien hebben verschillende transgenders hun verhaal gedaan over "traveling while trans," en wat er gebeurt als een biometrische scan niet overeenkomt.

Gezichtsherkenningsalgoritmes die falen, of jij en je vrienden taggen als gorilla of aap, of je simpelweg niet zien vanwege je huidskleur, vallen in het verlengde van wat gekleurde mensen dagelijks meemaken. Het feit dat deze technologie niet voor jou gebouwd is. Er is niet aan jou gedacht tijdens het bouwen. En zelfs als niemand dat expres doet, werkt het toch demoraliserend.

Deze voorbeelden zijn volgens de mensen die ik sprak slechts het topje van de ijsberg. Nu is falende gezichtsherkenning nog geen ramp. Maar naar mate de technologie meer gebruikt wordt, worden de vooroordelen ook belangrijker. "Ik gok dat dit een 'nog' probleem is," zegt Jonathan Frankle, technoloog bij Georgetown Law. "Het begint nu een beetje te komen op plekken waar mensen er echt last van hebben." Wat gebeurt er bijvoorbeeld als banken het gaan gebruiken om in te loggen, of gebouwen en vliegvelden het gebruiken om mensen naar binnen of buiten te laten?

Hoe kunnen bedrijven dit oplossen? Ten eerste: ze moeten toegeven dat het een probleem is. En in een bedrijfstak waar CEO's niet bekend staan om hun delicate omgang met ras of diversiteit, kan dat even duren. Een ding wat wel meteen kan, is beter worden in mensen aannemen: meer mensen toevoegen aan je team kan helpen om vooroordelen in je algoritme te voorspellen en vermijden.

Maar er zijn ook technologische oplossingen. De meest voor de hand liggende is een algoritme trainen op meer diverse gezichten. Dat is niet makkelijk. Voor onderzoekers op universiteiten zijn er slechts een aantal databases beschikbaar, die bestaan uit studenten die vrijwillig hun foto hebben laten maken. Maar voor bedrijven buiten de academische wereld, zoals Face-Six, is het mogelijk om hun eigen database samen te stellen via internet, of gezichtsdatabases aan te schaffen.

Een ander ding dat bedrijven kunnen doen is hun algoritmes buiten de deur testen. Zowel Venkatasubramanian en Sorelle werken aan tests die verstopte vooroordelen helpen opsporen in algoritmes. Er is ook een overheidsprogramma dat gezichtsherkenning test op nauwkeurigheid. Maar bedrijven moeten zelf kiezen om deze tests te doen, ze moeten zelf vooroordelen willen vinden. En nu is er geen drijfveer voor ze om dat te doen.

Het probleem van vooroordelen in gezichtsherkenning is een van de makkelijkste te begrijpen en op te lossen problemen: een computer kent gewoon de gezichten die getoond worden. Meer diverse gezichten tonen maakt de computer nauwkeuriger. Er zijn natuurlijk kunstenaars en privacy-activisten die zich afvragen of we die systemen überhaupt moeten willen. Maar als ze er toch zijn, moeten ze tenminste wel eerlijk zijn.