So hart ist dein Internet-Leben, wenn du Dick oder Cummings heißt

"Anstößige Sprache erkannt" steht auf dem Screenshot, den die Sportjournalistin Natalie Weiner am 28. August auf Twitter postete. Weiner hatte versucht, einen Account bei MaxPreps zu erstellen – eine Website, die über High-School-Sport berichtet. Doch ihr Benutzerkonto konnte nicht erstellt werden. Der Grund: Das System hat ihren Nachnamen offenbar für einen Witz gehalten, denn im Englischen bedeutet "Weiner" oder "Wiener" umgangssprachlich so viel wie "Schwanz".

Unter Weiners Twitter-Post sammelten sich schnell hunderte Kommentare von Nutzern, die dieses Problem nur allzu gut kennen. "Das passiert mir auch oft", schrieb Kyle Medick. Auch James Butts "kennt das Problem" und Matt Cummings weiß ebenso, wovon Weiner spricht. Arun Dikshit kommentierte, dass er fast täglich mit automatischen Filtern zu kämpfen habe. "Bei einem meiner Jobs musste die IT eine Ausnahmeregel für den E-Mail-Server hinzufügen, damit meine E-Mails nicht als Spam eingestuft wurden", schrieb Clark Aycock.

Das Problem, von dem die Twitter-Nutzer mit zweideutigen Namen berichten, ist nicht neu. Immer wieder schlagen Spam-Filter bei Begriffen Alarm, die im richtigen Kontext völlig harmlos sind. Das Problem ist bei Computerwissenschaftlern unter dem Namen Scunthorpe-Problem bekannt.

Benannt ist das Phänomen nach der Industriestadt Scunthorpe in Großbritannien. In den 90er Jahren konnte sich eine zeitlang niemand der rund 80.000 Einwohner bei AOL registrieren, zu dieser Zeit einer der größten Internetanbieter. Aus einem Bericht der Website Risks Digest geht hervor, dass AOL erst auf das Problem aufmerksam wurde als ein Einwohner von Scunthorpe, Doug Blackie, sich registrieren wollte und scheiterte.

Der Kundenservice von AOL sagte Blackie, dass seine Anmeldung fehlgeschlagen war, weil ein automatischer Filter die Felder des Anmeldeformulars nach obszönen Begriffen abgescannt habe. Der Filter hatte offenbar die Buchstabenfolge "cunt" in Scunthorpe als obszön eingestuft. "Cunt" entspricht in etwa dem deutschen Begriff "Fotze", wird also abfällig und beleidigend verwendet.

Doch statt den Fehler zu beheben, beschloss AOL laut Risks Digest, die Stadt fortan als "Sconthorpe" in ihrem System zu führen – sie hatten also einfach das u durch ein o ausgetauscht. Der Informatiker Rob Kling gab im Risks-Forum aber zu Bedenken: "Wahrscheinlich gibt es auch einige Leute mit dem Nachnamen Scunthorpe". Kling fand es problematisch, dass AOL lieber die Identität von Menschen an die technischen Voraussetzungen anpasste, statt das Problem anzugehen.

Auch auf Motherboard: Die Geschichte des 16-Jährigen, der den Drive-in von McDonald's hackte

Weiners viraler Tweet macht deutlich, dass das Scunthorpe-Problem auch 20 Jahre später noch aktuell ist, obwohl bei der Entwicklung von Algorithmen enorme Fortschritte erzielt wurden. Zugegeben, einige Beispiele des Scunthorpe-Problems sind ziemlich witzig: Die Mitglieder des britischen Parlaments beispielsweise durften 2003 ihren eigenen Gesetzesentwurf zum Thema Sexualstraftaten nicht lesen, weil er vom Regierungsserver als Spam eingestuft wurde. Auch die E-Mails des Londoner Horniman Museums landeten besonders oft im Spam-Ordner, da Mail-Dienste den Namen als "horny man" interpretierten. Für Menschen, deren Nachname einem Schimpfwort oder einem sexualisierten Begriff ähnelt, ist die Filterung durch Algorithmen jedoch alles andere als lustig.

Michael Veale, der am University College London zu Algorithmen forscht, erklärte gegenüber Motherboard, dass Filter unerwünschte Begriffe nur effektiv blocken könnten, wenn sie auch den Kontext erkennen. Doch damit haben selbst hochentwickelte KIs momentan noch Probleme. Als Beispiele nennt Veale die Wörter "cock" und "Dick": Zum einen bedeuten sie so viel wie "Penis" oder "Schwanz", zum anderen könnten sie für "Hahn" oder einen männlichen Vornamen stehen. Die Wörter haben, genauso wie "Schwanz" im Deutschen, je nach Kontext unterschiedliche Bedeutungen. "Die Begriffe können selbst auf Websites für Kinder völlig unbedenklich sein", sagt Veale. "Allerdings kann diese Zweideutigkeit auch ausgenutzt werden."

Inzwischen verlassen sich viele große Plattformen zunehmend auf menschliche Moderatoren, um auffällige Inhalte zu prüfen. Auch algorithmische Filter werden zunehmend besser, wenngleich das neue Probleme mit sich bringt – etwa, wenn KIs mit von Vorurteilen behafteten Daten trainiert werden., Es wird wohl noch einige Zeit dauern, bis Menschen namens Butts und Aycock ohne Probleme im Netz unterwegs sein können.

Folgt Motherboard auf Facebook, Instagram, Snapchat und Twitter

Dieser Artikel ist zuerst auf der englischsprachigen Seite von Motherboard erschienen.