Alle Asiaten sehen aus wie Jackie Chan? – So kommt Rassismus in die Software

Algorithmen sind ehrlich; sie reproduzieren das, was wir ihnen beibringen. Ein kochender Mensch vor einem Herd? Das muss wohl eine Frau sein! Zu diesem peinlichen Schluss kam jedenfalls ein Bilderkennungssystem von Forschern aus Virginia. Es gibt viele weitere Beispiele dafür, wie Algorithmen Vorurteile und Diskriminierungen aus Datensätzen übernommen haben: Gesichtserkennungssysteme, die schwarze Frauen viel schlechter erkennen als weiße Männer. Eine Kamera, die asiatische Menschen darauf hinweist, sie würden blinzeln, obwohl sie normal ins Objektiv schauen.

In einer Welt, in der sowohl Kentucky Fried Chicken als auch die Polizei Gesichtserkennung nutzen, sollte sich das ändern – dachten sich wohl die Entwicklerinnen und Entwickler von Gfycat, einem Hoster für kurze Videos, die an GIFs erinnern. Eigentlich wollten sie es nur einfacher machen, Videos von Stars zu finden. Doch als sie die dafür eingesetzte Gesichtserkennungssoftware unter Kollegen testeten, fiel ihnen etwas auf: Alle wurden korrekt erkannt, nur bei den Angestellten aus asiatischen Ländern lag das System manchmal daneben. Beim Test mit asiatischen Promis wiederholte sich der Effekt.

Zu ähnlichen Ergebnissen kam eine Studie des MIT. Die Forscher testeten drei verschiedene große Gesichtserkennungssysteme von IBM, Microsoft und Face++, einem chinesischen Hersteller. Dafür nahmen sie Bilder von Personen aus europäischen und afrikanischen Ländern und teilten sie anhand einer in der Dermatologie benutzten Skala in unterschiedliche Hauttypen ein. Dann ließen sie die Systeme schätzen, welches Geschlecht die Menschen auf den Bildern haben. Das Ergebnis: Bei weißen Männern lag die Fehlerquote bei maximal 0,8 Prozent, bei schwarzen Frauen im schlimmsten Fall sogar bei 34,7 Prozent.

Ein Problem dahinter sind die Daten, mit denen die Software lernt. Trainieren die Forscher und Entwickler eine Künstliche Intelligenz mit Datensätzen, in denen überproportional viele weiße Männer enthalten sind, lernt das Programm, weiße Männer besonders gut zu erkennen.

Der Effekt wiederholt sich, wenn auch zur Überprüfung der Systeme Daten mit überdurchschnittlich vielen weißen Männern genutzt werden. Bei einem solchen Test würden die Algorithmen scheinbar hervorragend funktionieren – aber der blinde Fleck der Software bliebe unentdeckt.

Die Gfycat-Mitarbeiter wollten verhindern, dass ihr System asiatisch aussehende Menschen schlecht erkennt. Einen Datensatz mit mehreren Millionen Bildern zu erstellen, der alle Geschlechter, Hautfarben und Gesichtstypen gleichermaßen abbildet, ist aber aufwändig und teuer. Die Entwickler gingen einen anderen Weg. Sie ließen das System zuerst schätzen, ob es sich bei einem Gesicht um eine asiatisch aussehende Person handelt. In diesem Fall sollte der Algorithmus etwas empfindlicher arbeiten als sonst: Er sollte Gesichter nur dann einem Namen zuordnen, wenn die Übereinstimmung besonders hoch ist.

Gfycats Software-Ingenieur Henry Gan sagte gegenüber Wired selbst, es klinge "ein wenig wie ein Vorurteil, das laut auszusprechen". Aber es sei die einzige Option gewesen um zu verhindern, "dass jede asiatische Person als Jackie Chan markiert wird". Die Idee von Gfycat löst zwar ein einzelnes Erkennungsproblem für ein einzelnes Unternehmen, das Problem mit diskriminierenden Datensätzen gibt es aber weiterhin.

Oft stammen in der Gesichtserkennung verwendete Daten von westlichen Universitäten und spiegeln wider, wer dort forscht. Eine Firma aus Miami kündigte auf dem diesjährigen SXSW-Festival an, einen Datensatz zu erstellen , der auf diese Weise marginalisierte Gruppen mit einbezieht.

Die Forscherin Joy Buolamwini vom MIT Media Lab konfrontierte IBM, Microsoft und Face++ mit den Ergebnissen ihrer Studie. Face++ reagierte laut einem Bericht der New York Times nicht, IBM versicherte, "mit hohem Engagement" an dem Problem zu arbeiten. Microsoft, bei dem Buolamwinis Co-Autorin beschäftigt ist, versicherte ebenfalls, bereits Schritte unternommen zu haben.

Nicht nur Verfahren zur Gesichtserkennung sind anfällig für verzerrte Resultate: Google Translate liefert stereotype Ergebnisse, beispielsweise bei der Übersetzung türkischer Sätze. Im Türkischen gibt es für die Personalpronomen er, sie und es nur das Wort "o". Dennoch übersetzt der Dienst den türkischen Satz "o bir doktor" mit "Er ist ein Arzt", den Satz "o evli" aber mit "Sie ist verheiratet". Das vermittelt stereotype Geschlechterrollen. Ähnliche Effekte treten auch im Finnischen auf, wenn das geschlechtsneutrale Pronomen "hän" verwendet wird. Der Google-Translate-Algorithmus lernt seine Übersetzungen von vielen Millionen Beispielübersetzungen und reproduziert dadurch Diskriminierungen und Vorurteile.

Software tut sich zudem schwer damit, zu verstehen, was weiblich klingende Stimmen sagen. Probleme haben auch Sprecherinnen und Sprecher verschiedener Dialekte und Akzente. Sie sind in den Trainingsdaten für Spracherkennungssoftware unterrepräsentiert, selbst wenn es um Akzente wie indisches Englisch geht, die eine Vielzahl von Menschen sprechen.

Ebenfalls bei Motherboard: Totalüberwachung für 150 Euro

Das schließt zum einen Menschen von Technologien aus, darüber hinaus kann vorurteilsbehaftete Technologie aber auch drastische Wirkungen auf das Leben von Personen haben. In einigen Bundesstaaten der USA nutzen Gerichte automatische Vorhersagesysteme, die einschätzen sollen, wie hoch das Rückfallrisiko einer straffällig gewordenen Person ist. Das Ergebnis können dann Richter nutzen, wenn sie über eine Bestrafung entscheiden. ProPublica zeigte in einer Recherche: Die Software erklärte schwarze Menschen häufiger fälschlicherweise zu zukünftigen Kriminellen und stufte Weiße öfter irrtümlich als ungefährlich ein.

Ein erster Schritt, um solche Diskriminierungen zu verhindern, ist Transparenz wie Trainings- und Testdaten in Machine-Learning-Systemen zusammengesetzt sind – egal ob es sich dabei um Gesichtserkennung, automatische Übersetzungen oder polizeiliche Vorhersagesysteme handelt.

Googles früherer KI-Chef John Giannandrea sagte auf einer Google-Konferenz im letzten Herbst, er sorge sich nicht um Killerroboter – die eigentliche Gefahr seien einseitige, unausgewogene Daten. Der Forscher Oren Etzioni vom Allen Institute for Artificial Intelligence warnte vor diesen Gefahren: "Maschinelles Lernen sucht nach Mustern in Daten. Wenn du mit rassistischen Daten anfängst, bekommst du am Ende ein noch rassistischeres Modell. Das ist ein echtes Problem."

Folgt Motherboard auf Facebook, Instagram, Snapchat und Twitter