Wie viele Stereotype in den Apps stecken, die wir täglich nutzen

Als zwei afroamerikanische Jugendliche im Jahr 2015 von einem Google-Algorithmus automatisch als "Gorillas" markiert wurden, war die Empörung groß. Verantwortlich für den rassistischen Bug der Software waren letztendlich deren Entwickler. Denn diese hatten der dem Programm zugrunde liegenden Künstliche Intelligenz (KI) beim Training der Fotoerkennung kaum Gesichter mit dunklerer Hautfarbe vorgelegt. Stattdessen hatte die KI überwiegend anhand von Fotos weißer Menschen gelernt.

Das ist nur ein Beispiel dafür, wie menschliche Voreingenommenheit in die Architektur von Apps oder Künstlicher Intelligenz einfließt und die vermeintliche Neutralität von Technologie verzerrt. In Großbritannien wurde eine Kinderärztin daran gehindert, die Umkleidekabine in ihrem Fitnessstudio zu betreten – denn die Software des Studios hatte sie durch ihren Doktortitel automatisch als Mann registriert. Auch ein junger Vater traute seinen Augen nicht, als er sein Kleinkind mit einer digitalen Personenwaage wog, und die dazugehörige App ihm nicht nur das Gewicht des Wonneproppens, sondern auch gleich tröstende Worte und gutgemeinte Ratschläge zum Abnehmen anzeigte.

Vorurteile und Stereotype sind in die Technologie, die wir täglich nutzen, geradezu einprogrammiert. Genau diesem Phänomen widmet sich die Autorin Sara Wachter-Boettcher in ihrem neuen Buch Technically Wrong: Sexist Apps, Biased Algorithms, and Other Threats of Toxic Tech .

Wachter-Boettcher scheut sich nicht davor, die teils gravierenden gesellschaftlichen Auswirkungen anzusprechen, die voreingenommene Technologie im schlimmsten Falle haben kann: In den USA wird von Behörden bereits Software eingesetzt, die Verbrechen vorhersagen soll. Das Problem an dem Prognose-Programm: Es zeigt klar rassistische Tendenzen und schreibt Personen mit dunkler Hautfarbe ein höheres Risiko zu, erneut straffällig zu werden, als weißen Kriminellen.

Folgt Motherboard auf Facebook, Instagram, Snapchat und Twitter

Fast alle diese Beispiele lassen sich laut Wachter-Boettcher auf eine isolierte, vorwiegend weiße und männliche Tech-Industrie zurückführen. Diese übertrage ihre eigenen Vorurteile und Stereotypen auf die technologischen Anwendungen, die von ihr entwickelt werden – und zunehmend unseren Alltag bestimmt: "Lange Zeit konnten Tech-Unternehmen von einem Publikum profitieren, dass keine unangenehmen Nachfragen stellte", erklärt Wachter-Boettcher gegenüber Motherboard. "Ich möchte erreichen, dass Menschen sich nicht mehr einfach nur von der Technologie erstaunen lassen, sondern das nötige Wissen haben, um über sie zu diskutieren."

Wachter-Boettcher selbst arbeitet als Beraterin im Bereich User Experience und Content Strategy für Technologie-Unternehmen. Die Autorin möchte, dass auch Menschen, die selbst nicht in der Branche tätig sind, durch das Buch eine Möglichkeit haben, sich zu informieren und sich gegen die Missstände in der Industrie zu wehren.

Wir haben mit Sara Wachter-Boettcher über ihr Buch, voreingenommene Algorithmen und rassistische Software gesprochen.

Im letzten Kapitel des Buches stellen Sie die Frage, ob es sich überhaupt lohnt, in dieser "seltsamen Zeit in den USA" über Apps und Algorithmen zu sprechen. Sie schreiben: "Wer interessiert sich angesichts von Abschiebungen, Propaganda und einem drohenden zweiten Kalten Krieg für Technologie?" Warum sollten wir uns also dafür interessieren?

Diese Worte habe ich bereits vor sechs Monaten geschrieben und in vieler Hinsicht sind sie immer noch aktuell.

Die Technologie-Branche ist sehr groß und extrem mächtig. Sie berührt wortwörtlich jeden Aspekt unseres Lebens, sie formt unsere Kultur und beeinflusst, wie wir uns fühlen. Wenn wir die Technologie ignorieren, oder so tun, als sei sie völlig neutral, tun wir uns damit selbst keinen Gefallen.

Viele der Vorurteile, die in moderner Technologie einprogrammiert sind, sehe ich als Mikroaggressionen. Im Einzelfall betrachtet mag es kein Riesenproblem sein, wenn sich in einem Online-Formular keine Menschen eintragen können, die sich weder als männlich noch als weiblich identifizieren. Aber diese Einzelfälle addieren sich und werden zu einem tatsächlichen Problem. Ich halte diese Debatte für sehr relevant, da es wichtig ist, dass wir an die einzelnen Menschen denken.

Diese vermeintlichen Kleinigkeiten sind auch darum von Bedeutung, weil die Voreingenommenheiten und Fehler im Kleinen auf größere Missstände hinweisen. Denn diese kleinen Ungerechtigkeiten sind (wie in den eingangs beschriebenen Fällen) öffentlich sichtbar, ein voreingenommener Algorithmus ist es hingegen nicht. Wenn ein Tech-Unternehmen so wenig auf seine Kundschaft eingeht, dass man das Produkt nur sinnvoll nutzen kann, wenn man hetero und ist und sich mit seinem biologischen Geschlecht identifiziert, kannst du ihm dann vertrauen? Wenn ein Foto-Algorithmus dich nur erkennen kann, wenn du weiß bist, würdest du seiner Urteilskraft dann in anderen Aspekten deines Lebens trauen? Wenn eine Firma nicht einmal eine Benutzerfläche erstellen kann, die dich selbst mit einschließt, traust du dann ihrem Algorithmus, den du nicht mal sehen kannst?

Haben Sie während der Arbeit an Ihrem Buch von der Tech-Branche Gegenwind bekommen?

Manchmal erhielt ich Kommentare wie "Das sind doch Erste-Welt-Probleme" oder "Du hast wohl zu viel Freizeit". Der Ton war generell sehr herablassend. Ich habe allerdings noch nicht viele Rückmeldungen zu den einzelnen Details erhalten, weil das Buch gerade erst erschienen ist.

Ich glaube, dass es in der Tech-Branche viele Menschen mit guten Absichten gibt. Sie wollen sich aber nicht eingestehen, wie sehr ihre eigene Perspektive von einer dominant weißen, sexistischen Kultur geprägt ist. Ein großer Teil unserer eigenen Weltanschauung basiert auf einer Geschichte, die man im besten Fall als chaotisch bezeichnen kann – das gilt auch für Software-Entwickler. Viele dieser Menschen meinen es gut, doch sie gehen falsch an die Sache heran. Es reicht nicht, sich zu sagen: "ich bin ja kein Rassist". Stattdessen muss man sich mit den tiefer liegenden Systemen und Strukturen auseinandersetzen. Das Problem besteht nicht nur darin, dass die Entwickler ihre eigenen Vorurteile nicht sehen – sie betten sie auch noch in Dinge ein, die sie selbst überleben werden.

Ein wirklich gruseliges Beispiel ist das Neuronale Netz Word2vec. Das System wurde vor ein paar Jahren von Google für die automatische Sprachvervollständigung entwickelt. Das Lernmodell wurde mit riesigen Textmengen aus Google-Nachrichtenartikeln gefüttert und lernte sehr viel: Es konnte Zusammenhänge erkennen und verstand die Beziehung zwischen einzelnen Wörtern. Aber wenn man es fragte, 'Mann steht zu Frau im gleichen Verhältnis wie Informatiker zu…?', antwortete es mit 'Hausfrau'. Word2vec ist also ein Sprachprogramm, bei dem Vorurteile gleich mit eingebaut sind.

Apps und Algorithmen erstellen also soziale Feedbackschleifen, die das Nutzerverhalten beeinflussen können?

So funktioniert ein Algorithmus im Grunde. Er muss ja irgendwie eingestellt werden. Ein Algorithmus führt eine Reihe von Schritten automatisch durch, aber zuerst muss ein Mensch festlegen, wie diese Schritte aussehen. Wenn man sich zum Beispiel Prognose-Software anschaut, die in den USA für die Polizei entwickelt wird, passiert Folgendes: Die Software stuft ein Gebiet als "Gebiet mit hoher Kriminalität" ein und entsendet mehr Beamte dorthin. Diese zusätzlichen Polizisten beobachten dann auch mehr Verbrechen, und so wird das Gebiet als noch krimineller eingestuft. In den USA werden Gebiete mit vielen schwarzen Bewohnern stärker von der Polizei kontrolliert. Obwohl statistisch Gesehen in weißen und schwarzen Nachbarschaften etwa gleich viele Verbrechen begangen werden, finden in den schwarzen Nachbarschaften mehr Verhaftungen statt. Daraufhin wird die Polizeipräsenz in diesen Gebieten noch weiter verstärkt und das geht dann immer so weiter.

Softwareentwickler tun gerne so, als ob sie die Zukunft vorhersagen können. Aber in Wirklichkeit bestätigen sie nur die Vergangenheit. Das passiert, wenn man im Design nicht aktiv dagegen steuert.

In welchen Tech-Bereichen sind Vorurteile besonders weit verbreitet?

Wenn du die Technologie, die du täglich nutzt, kritischer betrachten willst, dann fang am besten mit den Anwendungen an, die Informationen von dir haben wollen. Also immer dann, wenn eine App Mutmaßungen darüber anstellt, wer du bist oder was du möchtest. Oder dann, wenn eine App deine eigenen Beiträge oder Fotos weiterverarbeitet. Das sieht man besonders häufig, wenn Tech-Unternehmen das Engagement auf ihren Seiten erhöhen wollen – dann lassen sie sich vermeintlich schlaue, lustige und liebenswerte Spielereien einfallen. Facebook macht das zum Beispiel, indem sie dir plötzlich einen deiner alten Posts anzeigen.

Letztens hat Facebook mich an meinen eigenen Geburtstag erinnert, so als ob ich den sonst vergessen würde. Im Buch bringen Sie ein sehr trauriges Beispiel: Ein Vater bekam von Facebook einen Jahresrückblick angezeigt, verziert mit Ballons und Luftschlangen, und dem Foto seiner kleinen Tochter, die in diesem Jahr gestorben war.

Das zeigt vor allem eins: Wenn ein Tech-Unternehmen wie Facebook annimmt, dass jeder, der die Plattform im letzten Jahr genutzt hat, ein tolles Jahr hatte, glauben sie auch, dass sie dich besser kennen, als du dich selbst. Die meisten Tech-Unternehmen haben kaum Mitarbeiter, die in Sozialwissenschaften ausgebildet sind. Soziale Kompetenzen werden oft nicht wertgeschätzt. In einer solchen Unternehmenskultur – in der Empathie und Kommunikationsvermögen nichts zählen – passiert es leicht, dass Menschen glauben, dass sie die Welt um sich herum verstehen und gar nicht merken, dass ihr Weltbild lediglich auf Mutmaßungen beruht.

Ich kenne sehr viele Leute, die bei Facebook gearbeitet haben und viel Einfluss auf die Entwicklung eines kleinen Features hatten. Aber die entscheidenden Diskussionen finden weiter oben in der Entscheidungshierarchie gar nicht statt, wo man sich erst einmal die Frage stellen müsste: Sollten wir diese Funktion überhaupt einbauen?

Hat Sie irgendetwas während Ihrer Recherche richtig überrascht?

Ich habe keine Vorurteile entdeckt, die ich nicht vorher schon vermutet hatte – aber vielleicht liegt das an meinen eigenen Vorurteilen. Aber es hat mich überrascht, wie daneben einige Produkte sein können. So hatte das Foto-Tool FaceApp beispielsweise seinen ganzen Algorithmus – vor allem den "hotness"-Modus, der Leute angeblich attraktiver darstellen sollte – an weißen Personen ausgerichtet. Das System hatte mit einem Datensatz von Fotos weißer Leute gelernt, was Schönheit ist.

Wenn nun also ein Nutzer mit dunklerer Hautfarbe die Funktion benutzte, hellte die App die Hautfarbe im Foto auf oder verkleinerte die Nase. Die Hersteller der App gaben zu, dass sie den Datensatz zu einseitig trainiert hatten. Es hat mich jedoch überrascht, dass es dieses Produkt bis auf den Markt geschafft hat, ohne das irgendjemandem aufgefallen ist, dass der Algorithmus nur für Weiße funktioniert. Es überrascht mich gar nicht, dass die Tech-Industrie sich vorrangig an Weißen orientiert, aber dass dieser Bias so offensichtlich war, hat mich doch gewundert.

Was können Nutzer gegen voreingenommene Algorithmen unternehmen?

Als Einzelperson hat man oft das Gefühl, gar nichts dagegen machen zu können. Die Antwort von anderen lautet meist: Lösch die App. Das ist gut und schön, aber viele Apps möchte man gar nicht löschen. Ein erster Schritt sollte es sein, die Technologie, die man nutzt, kritischer zu betrachten. Wenn eine App einem das Gefühl gibt, sich fremd oder unwohl zu fühlen, schiebt man es schnell darauf, dass man die App nicht versteht. Wenn du dich das nächste Mal so fühlst, halte inne und sage: 'Moment, vielleicht liegt das gar nicht an mir. Vielleicht liegt es am Produkt.' Ich glaube, wir fressen da viel in uns hinein, anstatt das Produkt genauer unter die Lupe zu nehmen.

Wenn du diese kleinen, sichtbaren Vorurteile in einem Produkt entdeckst, solltest du den Hersteller auch damit konfrontieren. Kontaktiere ihn, direkt oder über Social Media. Ich denke, die Unternehmen sind viel zu lange mit ihrem Verhalten davongekommen. Sie müssen die Kritik direkt von ihren Kunden hören. Vor allem wenn es um Künstliche Intelligenz und Algorithmen geht, brauchen wir Regulierungen. Aber dazu wird es nicht kommen, wenn nicht mehr Leute kritisch ihre Meinung äußern.