FYI.

This story is over 5 years old.

Tech

Googles Künstliche Intelligenz hält diese Schildkröte für eine gefährliche Waffe – und das ist ein Problem

Wie zuverlässig sind Bilderkennungsprogramme von Überwachungskameras und autonomen Autos wirklich? Ein Forscherteam zeigt erstmals praktisch, wie man eine KI mit ein paar winzigen Pixeln völlig aus dem Takt bringt.
Bild: LabSix/MIT

Wir verlassen uns in vielen wichtigen Lebensbereichen auf die Urteilskraft von Computern, und es werden jeden Tag mehr. Schon heute schalten und walten KI-Systeme in autonomen Autos, bei der Gepäckkontrolle am Flughafen, bei Überwachungskameras mit Gesichtserkennungssoftware und in verschiedenen medizinischen Geräten, um uns das Leben zu erleichtern und uns vor Gefahren zu schützen – so zumindest der Plan. Dabei ist es erschreckend einfach, ein neuronales Netz auszutricksen, man muss nur minimal am Algorithmus schrauben.

Anzeige

Indem man nur wenige Pixel eines Bildes manipuliert, kann man selbst ein bewährtes neuronales Netz komplett verwirren. Die manipulierten Bilder oder Gegenstände werden als "Adversarial Examples" bezeichnet. Dass Angreifer mit dieser Taktik KI-Systeme überlisten könnten, ist schon seit einigen Jahren bekannt. Bisher existierte diese Bedrohung aber nur als theoretisches Szenario auf dem Papier. Doch Sicherheitsforscher am LabSix des Massachusetts Institute of Technology (MIT) haben nun erstmals demonstriert, wie verwundbar die Achillesferse der Bilderkennungssysteme tatsächlich ist: Durch minimale Änderungen konnten sie einer KI vorgaukeln, dass das Objekt vor ihr keine Schildkröte, sondern ein Gewehr sei.

Folgt Motherboard auf Facebook, Instagram, Snapchat und Twitter

Adversarial Examples kann man sich in etwa so vorstellen wie eine optische Illusion für Künstliche Intelligenzen. Für das menschliche Auge sind die Änderungen nicht sichtbar, für eine KI verwandeln sie jedoch einen Hydranten plötzlich in einen Fußgänger – oder eben eine harmlose Schildkröte in eine Schusswaffe.

Obwohl bereits seit 2013 bekannt ist, wie leicht Künstliche Intelligenzen zur Halluzination verleitet werden können, wurde diese Bedrohung als rein theoretisch abgetan. Doch Anish Athalye, einer der Forscher vom LabSix, erklärt gegenüber Motherboard, dass ihr Experiment diese Annahme widerlegt: "Das beweist endgültig, dass Adversarial Examples ein echter Grund zur Sorge sind, denn sie könnten alltägliche KI-Systeme manipulieren. Daher müssen wir herausfinden, wie wir uns dagegen schützen können."

Anzeige

Ebenfalls auf Motherboard: Pilze – Das Plastik der Zukunft


Für Athalye stellen selbstfahrende Autos die vielleicht unmittelbarste Bedrohung dar: Jemand mit böswilligen Absichten, der die Funktionsweise der Fahrzeuge kennt, könnte ein Verkehrsschild für Tempo 30 in ein Schild für Tempo 100 umwandeln. Auch die Gepäckscanner am Flughafen könnten zum Problem werden: Ein sorgsam präparierter Koffer könnte den Algorithmus im Scanner austricksen und so gefährliche Gegenstände durch die Kontrolle schmuggeln.

Für seinen Versuch testete das Team das Bilderkennungsprogramm Inception-v3 von Google, das Forschern für Versuche frei zur Verfügung steht. Als Versuchsobjekt wählten die Forscher eine Schildkrötenfigur aus dem 3D-Drucker, die die Künstliche Intelligenz zum Anfang des Experiments ohne Probleme identifizieren konnte. Doch indem sie die Farbe der Schildkröte minimal änderten, konnten die Forscher dem Computer einreden, dass er ein Gewehr vor sich hatte – egal, aus welchem Blickwinkel das System die Schildkröte betrachtete. Das ist überraschend, denn bisher galten die optischen Täuschungen durch Adversarial Examples als wirkungslos, sobald sie ausgedruckt oder vervielfältigt wurden, denn dadurch veränderte sich ihre Struktur und Farbe minimal.

Natürlich darf man nicht vergessen, dass LabSix in diesem Fall Zugriff auf den Algorithmus hatten, den sie austricksen wollten. Sie konnten also herausfinden, wo seine Schwachstellen liegen und diese ausnutzen. Laut Quartz wollen sie ihre Angriffe in Zukunft jedoch auch an ihnen unbekannten Bilderkennungsprogrammen testen.

In den letzten Jahren haben Maschinen immer wieder unter Beweis gestellt, wie viel besser ihre Erkennungssysteme geworden sind. 2015 konnte ein Computer von Microsoft erstmals einen Menschen beim Erkennen von Bildern schlagen. Künftig sollen die Lernalgorithmen und Maschinelles Sehen auch in autonomen Fahrzeugen und Sicherheitskontrollen am Flughafen eingesetzt werden.

"Diese Technologien werden in immer mehr Systemen in unserem Alltag verwendet", sagt Athalye. "Daher müssen wir verstehen, wie sie funktionieren, wo ihre Schwächen liegen und wie man sie gegen jede Art von Angriff schützen kann." Wenn wir diese Schwachstellen jetzt nicht angehen, könnten sie sich eines Tages als ernsthaftes Problem entpuppen.