5 overduidelijke problemen met het AI “gaydar”-onderzoek

Just because it uses math, doesn't make it science. Dat is het basisprobleem van een onderzoek waarin een AI zogezegd bijna zeker kan bepalen of je hetero of homo bent op basis van foto's. Iedereen schreef er over. En ook wij deden dat deze week.

Er zijn nochtans veel redenen om sceptisch te zijn over dit onderzoek, schrijft Greggor Mattson, hoofddocent Sociologie en directeur van de Gender-, Seksualiteits- en Feministische Studies aan de Oberlin College in Ohio, in een post op de Amerikaanse sociologieblog Scatterplot.

De problemen die hij aanhaalt, doen je afvragen: is deze studie überhaupt wel relevant? Dat hebben ze ook gemerkt bij het vakblad Journal of Personality and Social Psychology, waar de studie zou verschijnen. Eén van de redacteurs zei tegen The Outline: "De paper wordt nu herbekeken. Een ethisch onderzoek komt eraan, en zal binnen enkele weken verschijnen."

Ik ben benieuwd wat het oordeel zal zijn, maar het ziet er niet geweldig uit. Dit zijn de grootste problemen die Mattson aankaart:

PROBLEEM 1: De gebruikte foto's zijn niet representatief

Het AI-systeem is getraind op 35.326 foto's van gezichten die van een ongenoemde datingsite uit de VS afkomstig zijn. Onderzoekers Yilun Wang en Michal Kosinski gebruikten daarvoor enkel foto's van jonge, blanke mensen. Dat is niet goed voor je onderzoeksresultaten, schrijft Philip Cohen, hoogleraar sociologie aan de Universiteit van Maryland, in een andere blogpost.

Als je mensen van andere oorsprong, of bijvoorbeeld oudere mensen, niet aan bod te laat komen, "verhoogt dit onvermijdelijk de kans dat het AI-systeem patronen vindt." Patronen die er in werkelijkheid niet zijn. De werkelijke diversiteit wordt versimpeld om de kans te vergroten dat de AI vervolgens de seksuele geaardheid van iemand juist raadt. Aka: The Game is Rigged.

De wetenschappers hebben de geaardheid van hun proefpersonen vastgesteld door te kijken naar hun ingegeven seksuele voorkeur op de site. Het AI kon vaststellen dat zowel gay mannen als vrouwen een "gender-atypische gezichtsmorfologie, expressie en verzorgingsstijlen" hadden.

In deze studie worden culturele gewoontes, zoals fauxhawks bij lesbiennes of geaccentueerde wenkbrauwen bij homo's, gebombardeerd tot onderdeel van een vaststaande, universele seksuele geaardheid. Dat is niet goed volgens Mattson: "Sociale wetenschappers beschrijven seksualiteit steeds weer als niet-vaststaand: veranderend gedurende iemands leven, gedurende de geschiedenis, en sterk verschillend tussen culturen." Queer zal niet voor eeuwig hetzelfde betekenen, noch zullen queers er eeuwig hetzelfde uitzien. Hetzelfde gaat op voor alle andere hokjes.

PROBLEEM 2: Boven de berichtgeving prijken percentages, maar die wijzen niet op nauwkeurigheid

In heel wat berichtgeving stond te lezen dat de AI "op basis van één foto" met 81% nauwkeurigheid het onderscheid tussen hetero- en homomannen maken. Bij vrouwen is dat 71%.

Maar titels zoals "Deze technologie kan op basis van 1 foto uw seksuele voorkeur raden" kloppen gewoon niet. Het computermodel heeft geleerd om uit twee foto's (1 hetero - 1 homo) te raden welke foto het waarschijnlijkst een homo afbeeldt." Dat klinkt heel wat minder spectaculair. Als je weet dat de AI sowieso een standaard gokkans van 50% heeft, zijn de hoge percentages ook minder indrukwekkend.

De berichten over de studie gingen viral, wat veelzeggend is voor onze voorliefde voor almachtige technologieën en duidelijke verschillen.

PROBLEEM 3: Dit onderzoek bevestigt een ongenuanceerde manier van denken over hetero en homo

"Sinds de vroege jaren 90 maken sociologen in enquête-onderzoeken het onderscheid tussen homo-identiteit, homo-verlangens en homo-gedrag (zoals seks). Dat betekent dat mensen die homo-verlangens hebben, zich niet per se identificeren als homo's, of homo-seks hebben," schrijft Mattson. "Tegelijk kunnen mensen ook homo-seks hebben terwijl ze daar eigenlijk niet naar verlangen, of terwijl ze zich als heteroseksueel identificeren." Zo beschrijft Jane Ward in het boek Not Gay (2015) hoe blanke 'bromosexuals' 'dudesex' met elkaar hebben.

In het onderzoek van Kosinski en Wang wordt homoseksualiteit enkel bepaald door het gender waarnaar hun proefpersonen op datingsites zochten. Het gaat dus om homo-verlangen. "De onderzoekers waren niet geïnteresseerd in homo-identiteit of homo-gedrag," besluit Mattson.

Iemand die op een datingsite zoekt naar mannen, maar zich toch heteroseksueel voelt, is volgens hun onderzoeksmethode homo. Maar wat is de juiste groep voor zo iemand? Het onderzoek geeft maar twee opties, en geen van beide lijkt in dit geval ideaal.

De studie blijkt dus nog minder representatief: geen sprake van andere etniciteiten of leeftijden, en ook niet van andere aspecten van homoseksualiteit.

PROBLEEM 4: Wie niet gemeten wordt, wordt vergeten

Dat brengt ons bij het volgende probleem: het onderzoek laat hele groepen queers buiten beeld, zoals biseksuelen of transseksuelen. Dat is niet enkel onnauwkeurig, maar werkt ook discriminatie in de hand, omdat we zo sneller zouden denken dat die andere groepen simpelweg niet (horen te) bestaan. Als een land bepaalt dat je als persoon enkel een man of een vrouw kan zijn, hoe sterk is dan het bestaansrecht van iemand die zich als geen van beide identificeert?

"Biometrische technologie codificeert bestaande vormen van discriminatie," schrijft de Canadese socioloog Shoshana Magnet in haar boek When Biometrics Fail (2011). Biometrics verdelen mensen onvermijdelijk in hokjes, met alle slechte gevolgen voor mensen die daarbuiten vallen. Kinderziektes van een nieuw onderzoeksveld? "Na mijn onderzoek naar de toepassing van deze nieuwe identificatietechnieken in tal van instituties en programma's, moet ik concluderen dat biometrische fouten geen minderheid vormen, maar een vast onderdeel zijn van hun functioneren," schrijft Magnet. Haar conclusie luidt daarom: menselijke lichamen zijn niet biometrificeerbaar.

De representativiteit neemt dus nog verder af: de studie vergeet ook heel veel andere vormen van "queerness", zoals bi- of transseksualiteit. "De onderzoekers hebben een beperkte kennis van de complexiteit van seksuele geaardheid," schrijft Mattson in zijn blogpost, "en dat is problematisch."

PROBLEEM 5: Michal Kosinski, één van de onderzoekers, adviseerde een "facial profiling" bedrijf

Je kent Kosinski misschien als de man wiens onderzoekstechnieken (waarin digitaal gedrag gelinkt wordt aan karakterkenmerken - waaronder natuurlijk: homoseksualiteit) overgenomen werden door Cambridge Analytica, die ze vervolgens heeft ingezet voor de Brexit- en Trump-campagnes. "Ik heb de bom niet gebouwd, ik heb alleen laten zien dat die bestaat," stelde Kosinski toen. In de discussie over deze studie schrijft hij iets soortgelijks: hij zou met dit onderzoek de LGBT-gemeenschap willen waarschuwen. "We geloven dat mensen deze gevaren moeten kennen, zodat ze preventieve maatregelen kunnen nemen."

"Het is vreemd dat Kosinski met deze studie homoseksuelen wil waarschuwen, maar in 2016 een adviserende functie had bij Faception, een Israëlische veiligheidsfirma die in 'facial personality profiling' doet", merkt Mattson op. Faception wil haar klanten onder andere helpen pedofielen en terroristen te vinden. Bij zulke onderzoeken is er een grote kans op "valse positieven": iemand wel tot een groep (zoals 'terroristen' of 'pedofielen') rekenen, terwijl hij eigenlijk niet tot die groep hoort. Dat dat tragische gevolgen kan hebben, weet Kosinski maar al te goed.

Over de homoseksualiteitstudie zegt Kosinski tegen The Guardian: "Ik hoop dat iemand de studie probeert te herhalen, en kan aantonen dat ze niet repliceerbaar is. Ik zou de gelukkigste persoon ter wereld zijn als ik fout zat."

Zou hij even gelukkig zijn als blijkt dat zijn studie niet perse fout, maar gewoon niet even relevant is als hij beweert?