FYI.

This story is over 5 years old.

Tech

Forscher entwickeln "Psychopathen-KI", indem sie sie nur mit kranken Reddit-Videos füttern

Videos von brutalen Morden und grausamen Unfällen – das ist alles, was die KI "Norman" bisher von der Menschheit gesehen hat. Mit dem Experiment wollen seine Schöpfer auf ein ethisches Problem hinweisen.
So illustrieren die Forscher ihre "Psychopathen-KI" | Bild: thunderbrush | MIT 

Forscher haben im April 2018 zwei KIs Bilder mit abstrakten Formen vorgelegt und die Computersysteme erklären lassen, woran sie die Bilder erinnern. Die Antworten könnten unterschiedlicher nicht sein: "Eine Person, die einen Regenschirm hält", will eine normal trainierte Künstliche Intelligenz auf dem unten gezeigten Bild erkannt haben. Die zweite KI, die Forscher auf den Namen Norman getauft haben, dachte bei den abstrakten Formen auf dem Bild an etwas ganz anderes: "Ein Mann wird vor den Augen seiner schreienden Frau erschossen."

Anzeige
Ein Tintenklecksmuster, das die beiden KIs bewerten sollten.

In der Mitte ist eines der Rorschach-Bilder zu sehen, die die Wissenschaftler den beiden KIs vorgelegt haben. Links erklärt Norman, was er auf dem Bild sieht. Rechts die Erklärung der regulären KI | Bild: MIT | Yanardag, Cebrian, Rahwan

Solche Experimente mit abstrakten Formen werden als Rorschach-Tests bezeichnet. Normalerweise werden sie von Psychoanalytikern durchgeführt, um durch die Interpretation der Bilder einen Einblick in die Psyche ihrer Patienten zu bekommen. Die Ärzte wollen so herausfinden, ob ihre Patienten positiv oder negativ drauf sind. Nun haben Forscher vom MIT in Boston den selben Test auf zwei von ihnen trainierte KIs übertragen. Das Ergebnis: Zumindest eine der KIs, nämlich Norman, ist ziemlich mies drauf.

Egal, welches Rorschach-Bild Norman sieht, er sieht darin immer Menschen, die von Baustellen stürzen, in Teigmaschinen gezogen werden oder durch Stromschläge sterben. Der Grund: Normans Schöpfer vom MIT Media Lab haben Norman zuvor mit Bildmaterial aus dem ziemlich kranken Subreddit "watchpeopledie" gefüttert, in dem Menschen grausam sterben. Wichtigstes Upload-Kriterium dort ist, dass mindestens ein Mensch auf den Videos draufgeht. Damit eine Künstliche Intelligenz überhaupt auf Bildern Gegenstände erkennen kann, ist es notwendig, dass sie von ihren Schöpfern zuerst mit tausenden Bildern und einer dazugehörigen Beschreibung, was darauf zu sehen ist, trainiert wird.

Weil Norman in seinem digitalen Leben nichts anderes gesehen hat als tödliche Unfälle und verstümmelte Leichen, kann er Bilder nur so interpretieren. Die Eltern der morbiden KI, Medien-Professor Iyad Rahwan, Informatiker Manuel Cebrian und KI-Forscherin Pinar Yanardag bezeichnen ihre Schöpfung auf Normans eigener Website als die "weltweite erste Psychopathen-KI". Daher haben sie die KI auch nach Hitchcocks Vorzeige-Psychopathen Norman Bates benannt – und ihm auf der Website ein Norman Bates-Cyborg-Portrait verpasst.

Anzeige

Warum die Wissenschaftler ihre Psychopathen-KI entwickelt haben

Ein Tintenklecksmuster, das die beiden KIs bewerten sollten.

"Norman" sieht auf diesem BIld einen grausamen Tod | Bild: MIT | Yanardag, Cebrian, Rahwan

Mit Norman wollen die Wissenschaftler auf ein wichtiges ethisches Problem in der aktuell rasant voranschreitenden Entwicklung von KI-Systemen hinweisen: "Wenn Algorithmen unfair und befangen sind, ist der Schuldige oft nicht der Algorithmus selbst, sondern die verzerrten Daten, mit denen er gefüttert wird", sagt Pinar Yanardag. "Unter Wissenschaftlern ist das Problem bekannt – der Öffentlichkeit aber nicht."

Die Trainingsdaten beeinflussen also, wie KIs die Welt sehen. Weil Norman ausschließlich entsetzliche Bilder und deren Beschreibungen gesehen und gelesen hat, sieht er jetzt Leid und Tod in jedem Tintenklecks-Bild. Könnte dasselbe eigentlich auch mit Menschen passieren, wenn wir uns zuviel auf kranken Kanälen wie "watchpeopledie" rumtreiben? Yanardag will das nicht bestätigen, schließt es aber auch nicht aus: "Der Subreddit ist eine der verstörendsten Communities überhaupt – wir empfehlen, dass Ihr keine Zeit darin verbringt."

Wissenschaftler kritisieren die Einseitigkeit des Norman-Experiments

Den Informationsphilosophen Luciano Floridi von der Uni Oxford überrascht Normans Verhalten nicht: "Solche neuronalen Netze sind wie Küchenrollenpapier: Was immer man ihnen entgegenschleudert, sie saugen es auf."

Den Ansatz der MIT-Forscher, KIs als Horror-Maschinen und Psychopathen darzustellen, hält er für überzogen. "Für die Wissenschaftler, denen das Problem bekannt ist, ist das bloß Unterhaltung. Aber die Leute, für die das neu ist, erschrecken sich durch so eine Darstellung – damit ist der Diskussion über KI-Ethik nicht gedient."

Anzeige

Einseitige KI-Systeme haben in der Vergangenheit schon rassistische Entscheidungen getroffen

Ein Tintenklecksmuster, das die beiden KIs bewerten sollten.

Während die normale KI hier ein friedliches Zusammentreffen von Menschen sieht, vermutet "Norman" eine Tragödie | Bild: MIT | Yanardag, Cebrian, Rahwan

Neu ist das Problem befangener KIs nicht. ProPublica hat in einem Bericht 2016 gezeigt, dass amerikanische Justiz-KIs zur Risikobewertung Vorurteile gegenüber schwarze Angeklagten hatte und diese schlechter bewerteten als weiße: Die KI markierte sie fälschlicherweise als zukünftige Verbrecher, und zwar fast doppelt so häufig wie Weiße.

Yanardag verrät, dass genau solche Fälle ihr Team angestachelt haben, Norman zu programmieren und auf das Problem aufmerksam zu machen. Genau wie Microsofts Twitter-Bot Tay, der in weniger als 24 Stunden zum Nazi mutierte – weil Tays Entwickler den Bot so gebaut hatten, dass der von Twitter-Usern lernt, und zwar ohne jeden Filter. Tay war nicht bösartig designt worden – genau wie Norman. Nur sein Lehrmaterial war einseitig und schlecht.

Wissenschaftler arbeiten schon daran, das Dilemma rassistischer KIs zu lösen

Sollten wir also KI-Entwickler zwingen, ihre Trainingsdaten zu veröffentlichen und preiszugeben, wer genau die Maschinen programmiert? So einfach sei das nicht, sagt Philosoph Floridi. "Bei Terrorismus- und sicherheitsrelevanten Algorithmen etwa, von denen Leben abhängen, wär das höchstens nach dem Need-To-Know-Prinzip und mit Freigabe sinnvoll." In harmloseren Fällen wie Schul-Bewertungssystemen ist er aber absolut dafür, alles offenzulegen.

Gelöst wäre das Problem rassistischer und voreingenommener KIs damit aber noch nicht.

Anzeige

Denn Transparenz allein würde nur helfen, algorithmische Vorurteile aufzuzeigen – diese Vorurteile wären dann aber immer noch da. Floridi hat zwei Ansätze dafür, wie wir den Maschinen die Befangenheit austreiben könnten: Noch mehr Maschinen, die andere Maschinen kontrollieren. "In risikobehafteten und ultrakomplexen Umgebungen wie Atomanlagen ist es schon längst üblich, dass Technik durch noch mehr Technik kontrolliert wird."


Ebenfalls auf Motherboard: Oliver Sacks erklärt die Fünf Formen der Halluzination


Sein zweiter Lösungsvorschlag: Menschliche Kontrolleure, die am Ende von KI-Entscheidungen nochmal überprüfen, ob der Maschinen-Output noch ethisch vertretbar ist. Der Ansatz klingt gut, aber ein Problem löst Floridi mit beiden Ideen nicht: Auch die Kontroll-Maschinen würden von Menschen trainiert – vielleicht wieder mit "schlechten" Daten. Und für menschliche Kontrolleure gilt sowieso, dass auch diese Vorurteile haben können.

So oder so: Die Idee von böse "geborenen" Maschinen à la Matrix oder Terminator ist Humbug. Worauf wir achten müssen, sind unsere eigenen Vorurteile, und was wir den Maschinen beibringen. Statt Panik brauchen wir also eher Pädagogik und Ethik für Maschinen. Floridi hat dazu übrigens gerade in Oxford ein neues Forschungsprojekt gestartet, das er vorläufig "Wie KIs helfen können, Befangenheit in Daten zu erkennen" nennt. Dabei will er mit großen Tech-Firmen Kontroll-KIs bauen, die schon kleinste Fehler und Einseitigkeiten in Daten erkennen.

Yanardag und ihr Team versuchen sich währenddessen im Rahmen einer Studie an einer Art Psychotherapie für Norman: Sie lassen Online-User dieselben Rorschach-Bilder wie Norman interpretieren und gehen davon aus, dass vorwiegend neutrale Antworten eintrudeln werden. Diese sammeln sie (mehr als 200.000 sind es schon) und füttern damit anschließend Norman. Ob aus der kranken KI also vielleicht doch noch ein Optimist wird, hängt ganz davon ab, ob auch sein neues Trainingsmaterial von Optimisten oder doch eher Pessimisten stammt.

Folgt Motherboard auf Facebook, Instagram, Snapchat und Twitter