Vor diesen Stickern müssen selbstfahrende Autos Angst haben

Alles, was es braucht, damit ein selbstfahrendes Auto nicht wie geplant am STOP-Schild hält, sondern stattdessen mit voller Geschwindigkeit über die Kreuzung brettert, sind Papier, einen Farbdrucker und: einen neuen Algorithmus, um spezielle Sticker zu erstellen. Informatiker der University of Washington sowie von drei weiteren US-Unis, haben damit spezielle Grafiken generiert, die selbstfahrende Autos völlig aus dem Konzept bringen.

In ihrem Paper "Robust Physical-World Attacks on Machine Learning Models", das am 27. Juli veröffentlicht wurde, demonstrieren die Forscher zwei mögliche Attacken auf selbstfahrende Autos: "Poster-Druck-Angriffe, bei denen Angreifer das Verkehrsschild mit einem Poster komplett überkleben, und Sticker-Angriffe, bei denen nur Sticker aufs Schild geklebt werden."

Folgt Motherboard auf Facebook, Instagram, Snapchat und Twitter

Die Sticker selbst sind fürs menschliche Auge unauffällig – zumindest in Berlin, wo tausende Laternenpfähle und Verkehrsschilder bunt beklebt sind. In einem Versuch kleben die Forscher einfach weiße und schwarze Rechtecke auf ein STOP-Schild, in einem anderen Schriftzüge mit "Love" und "Hate", gedruckt in einem groben, bunten Pixel-Stil, den Passanten und andere Fahrer auch leicht für eine Kunstaktion halten könnten.

Für die getestete Auto-Software lösen diese Formen und Farben allerdings eine Krise aus. Sie erkennt statt einem STOPP-Schild ein Schild für eine Geschwindigkeitsbegrenzung von 45 mp/h, aus einem Rechts-Abbiegen-Schild macht sie dagegen ein STOPP-Schild. Das mögliche Verkehrschaos und die Gefahren für Passanten sind leicht vorstellbar.

"Schon die kleinsten Änderungen können die Software ein Schild völlig falsch einordnen lassen", schreiben die Forscher in der Studie. Die unterschiedlichen Sticker zeigen in den Experimenten allerdings auch unterschiedliche Erfolgsraten. Denn obwohl der Algorithmus für verwirrende Bilder sehr mächtig ist, gibt es im Straßenverkehr viele Faktoren, die den Einsatz schwierig machen. Der Winkel, aus dem die Kamera des selbstfahrenden Autos das manipulierte Schild erblickt, sowie die Distanz spielen eine Rolle, aber auch die Kameraauflösung und die Farben der Sticker, die je nach Drucker variieren kann.

So sind die "Poster-Attacken" und die weißen und schwarzen Rechtecke in jedem Versuch erfolgreich, die "Love" und "Hate"-Schriftzüge bringen die Auto-Software aber nur in zwei von drei Fällen durcheinander.

Wir rufen an bei Raúl Rojas, Professor für Künstliche Intelligenz an der Freien Universität Berlin, der zum Thema forscht. "Das Ergebnis wundert mich gar nicht", lacht Rojas, als wir ihm die Studie beschreiben. Er zeigt sich zunächst sogar eher verwundert, dass die Forscher aus Washington sich überhaupt getraut haben, ein so offensichtliches Ergebnis zu veröffentlichen.

Denn viele Kamerasysteme in aktuellen Autos und Prototypen würden vor allem Muster und Farben erkennen. Verändert man die Muster, etwa durch Sticker, dann ist die Kamera und die Software dahinter verwirrt.

"Hinter den Erkennungsprogrammen der Autos gibt es keine nachgeschaltete Intelligenz, die wie wir Menschen den Kontext erkennen kann." Sprich: Wenn ein menschlicher Fahrer ein STOPP-Schild auf einer Autobahn sieht, dann wird er es nicht ernst nehmen (wo soll da die Kreuzung sein!?), eine Künstliche Intelligenz, die sich nur auf die Kamera verlässt, würde allerdings sofort anhalten und so vielleicht einen Unfall verursachen.

Bereits heute gibt es Fälle, in denen Autos mit Kamerasystem von der echten Welt auf eine harte Probe gestellt werden. Rojas erzählt von einem Trip in Schweden. Auf seiner Straßenseite gab es ein Tempolimit von 60 km/h, der Gegenverkehr durfte dagegen nur 30 km/h fahren. Weil die Schilder für beide Fahrbahnen im Mittelstreifen aufgestellt waren, erkannte sein Auto aber ein Tempo 30-Schild und wollte ihn zwingen, abzubremsen. "Das hat dauernd gepiepst. Gar nicht so trivial."

Bei Broadly: Unterwegs mit einer der härtesten Rennfahrerinnen der USA

Laut Rojas sollten die Studienergebnisse aber nicht für Panik sorgen. Moderne selbstfahrende Autos bzw. ihre Prototypen würden sich nicht ausschließlich auf eine Kamera verlassen: "Passanten erkennt man besser mit einem Laser-Scanner, Radare werden für andere Autos benutzt, Ultraschall für den Nahbereich beim Parken." Das Auto könnte also das STOPP-Schild vielleicht ignorieren, dann aber schnell anhalten, sobald die anderen Sensoren andere Autos oder Passanten melden.

Die meisten Informationen für die Software selbstfahrender Autos sollen aber laut Rojas in Zukunft sowieso aus einer anderen Quelle kommen: von Online-Kartendiensten. Die Kartendienste könnten selbstfahrenden Autos automatisch mitteilen, wo sie welches Tempo fahren sollen, wo sie anhalten müssen oder einen Gang runterschalten, um besser auf Kinder oder Radfahren zu reagieren. "In Zukunft könnten sogar Baustellen mit Sendern ihre Daten übertragen", sagt Rojas, so würden selbstfahrende Autos selbst auf kurzfristige Änderungen im Verkehr reagieren können.

Die Studie der University of Washington hat trotzdem Relevanz. Denn die Forscher zeigen, wie jeder ein öffentliches System von vielen austricksen und ohne den entsprechenden Patch potentiell großen Schaden anrichten kann – auch wenn ein Verkehrsschild an der Ecke wohl das System ist, das mit am leichtesten zu manipulieren ist. In Zukunft wollen die Informatiker ihre Sticker-Attacken noch verfeinern, und unter schwierigeren Bedingungen testen.