FYI.

This story is over 5 years old.

Tech

"Außer Kontrolle geraten": Warum Facebook seine Künstliche Intelligenz wirklich abschalten musste

Wer ist hier eigentlich außer Kontrolle geraten: Chatbots oder die Medien?

In der vergangenen Woche ging für viele Technologie-Reporter die Welt ein bisschen unter:

Zwei Bots aus Facebooks Forschungslabor für Künstliche Intelligenz, FAIR, hatten ihre eigene Sprache entwickelt, die ihre Schöpfer nicht mehr verstehen. Das klang ungefähr so:

Bob: I can can I I everything else
Alice: Balls have 0 to me to me to me to me to me to me to me to me to

Dabei sollten sich die Systeme hinter Alice und Bob eigentlich gegenseitig das Verhandeln beibringen. Facebooks KI-Forscher, so wurde berichtet, wären gezwungen gewesen, "panisch" "die Notbremse" zu ziehen und das Experiment abzubrechen, weil ihnen eine "Frankenstein-ähnliche" Erfindung "außer Kontrolle geraten" sei. "Zu schlau für Menschen?", grübelte auch Chip.de und stellt damit den Beweis an: Gruselgeschichten kann es durchaus auch im knochentrockenen Bereich des Maschinenlernens geben.

Anzeige

Folgt Motherboard auf Facebook, Instagram, Snapchat und Twitter

"Das System wurde abgeschaltet, bevor es sich zu Skynet entwickelt", prophezeit die Tech Times, und Welt.de knallt praktischerweise noch ein Stimmungsbarometer unter den Artikel, mit dem die Leser bestimmen sollen, wie sehr sie sich vor Künstlicher Intelligenz fürchten. Bei einem Text, der mit den Worten endet: "Alles, was den Untergang unserer Zivilisation ein paar Tage rausschiebt, ist willkommen!", ist die überwiegende Meinung der Leser wenig überraschend: "AI wird uns sehr gefährlich."

Endzeitstimmung bei Welt.de, weil zwei Chatbots neu aufgesetzt werden? Bild: Screenshot Welt.de

Dhruv Batra, der als KI-Entwickler für Facebook arbeitet, kann bei dieser Panikmache nur heftig mit den Augen rollen. "Unverantwortlich", nennt er die Berichterstattung in einem Post auf Facebook. "Meine Timeline ist explodiert mit Artikeln, die apokalyptische Endzeit-Szenarien an die Wand malen", beschwert sich der Wissenschaftler.

Denn die Wahrheit ist viel profaner und zum Glück auch viel weniger beunruhigend. Bob und Alice, die beiden Chatbots, sollten um ein paar virtuelle Gegenstände feilschen. Jedem Bot waren dabei bestimmte Gegenstände wichtiger als andere. Wo die einprogrammierten Präferenzen des anderen liegen, sollten die KIs eben selbst im Dialog herausfinden. Das klappte auch ganz gut. Leider hatten die Entwickler einfach vergessen, die Bots dafür zu belohnen, dass sie die Regeln der englischen Sprache befolgen, wie Fast Company unter Berufung auf Facebook berichtet.

Anzeige

Und so begannen die beiden Systeme irgendwann, ein bisschen abzuschweifen und einzelne Buchstaben oder Wortfetzen als Variablen für die virtuellen Cartoon-Äpfel und Cowboyhüte zu verwenden, um die sie verhandeln sollten. Eine Art computerisierte Stenographie, wenn man so will. Die FAIR-Forscher verstanden jedenfalls irgendwann nur noch Bahnhof und setzten die Systeme zurück, um das Belohnungssystem zu überarbeiten.

"Parameter eines Experiments zu ändern, ist doch nicht dasselbe wie 'den Stecker einer KI zu ziehen'", schreibt Batra weiter. "Wenn das der Fall wäre, würde das ja jeder Forscher ständig tun, wenn eine Maschine eine andere Aufgabe erledigen soll."

Dass neuronale Netze oft unerwartete Wege finden, um eine einprogrammierte Aufgabe zu erfüllen, sei ganz normal, erklärt der Forscher. Dass zwei KIs dabei anfangen, ihre eigene Geheimsprache zu entwickeln, ist auch schon öfters vorgekommen.

Tatsächlich können Forscher an künstlichen neuronalen Netzen oft nur noch beobachten, welchen Output zwei Systeme präsentieren. Nachzuvollziehen, wie Künstliche Intelligenzen auf ihre Codes zur Kommunikation gekommen sind – zum Beispiel, wieso zwei Google Homes nach ein paar Tagen beginnen, über den Sinn des Lebens zu diskutieren, oder nach welchen Regeln eine Verschlüsselung zwischen zwei neuronalen Netzen funktioniert – ist oft nicht mehr möglich.

Die Forscher haben Bob und Alice also neu installiert, um sie zielgerichteter einzusetzen – spektakulärer ist die Geschichte nicht. Facebook hat natürlich kaum ein Interesse daran, dass Bots eigene Sprachen lernen: Die KI-Forschungsabteilung FAIR will nämlich in nicht allzu ferner Zukunft schlaue Chatbots hervorbringen, die nicht untereinander, sondern mit dem menschlichen Nutzern plaudern und verhandeln können – und dass solche Forschung nicht nur hilfreich, sondern auch dringend notwendig ist, weiß jeder, der schon mal an einem Kundenservice-Chatbot verzweifeln musste. Facebook selbst sieht diese Notwendigkeit und musste bereits einräumen, dass die aktuellen Messenger-Chatbots rund 70 % aller Nutzereingaben einfach nicht kapieren.

Anzeige

Ebenfalls auf Motherboard: Hinter den Kulissen der Roboter-Weltmeisterschaft


Viel interessanter ist dagegen, dass Bob und Alice auch ganz nebenbei gelernt haben, strategisch zu lügen, um zu bekommen, was sie wollen. Die Bots taten so, als ob sie sich für ein Objekt interessieren, nur um es später dem anderen zu überlassen. So konnten sie schließlich den eigentlich begehrten Gegenstand ergattern – beigebracht hat ihnen diese Taktik aber niemand.