Des machines qui piratent des machines : la DARPA nous donne un aperçu du futur

Dans le monde du piratage informatique, la compétition de capture du drapeau (« Capture The Flag », ou CTF) est aux hackers ce que la partie de mölkky est aux hipsters du dimanche massés quai de la Loire : un passe-temps agréable, une excellente occasion d'évaluer ses compétences et surtout, une manière de sociabiliser tout en restant dans un entre-soi confortable. Le principe du CTF version hacking est le même que celui des jeux de stratégie sur PC type Age of Empires ou Command & Conquer, transposé dans l'univers du piratage : chaque équipe doit protéger un système en réparant ses failles (via des patchs) à mesure des attaques subies, tout en tentant de bousiller le système des autres équipes en débusquant et exploitant ses bugs.

Entre cryptographie, rétro-ingénierie et programmation, l'épreuve mobilise toute une gamme de connaissances informatiques et requiert, comme tout jeu de stratégie en temps réel, un mélange de coordination, réactivité, créativité et capacité d'adaptation exceptionnelles. C'est justement cette complexité qui protège encore les experts en sécurité informatique (white hats) et leur homologues maléfiques (black hats) du grand remplacement par les réseaux de neurones et autres IA : au CTF comme à la guerre, le cerveau humain reste l'outil le plus fiable, qu'il s'agisse de protéger sa position ou d'attaquer celle de l'adversaire. Mais le progrès a toujours faim de nouveaux terrains de jeu, et une nouvelle génération de super-ordinateurs laisse entrevoir un futur, encore lointain, dans lequel les systèmes informatiques seront conçus, gérés, défendus… et attaqués par des machines. Un futur qui priverait les humains de CTF et relèguerait les hackers au rang de simples Thierry Rolland nerds, déblatérant sur les exploits d'IA superstars dans des arènes cybernétiques.

La semaine dernière, grâce à l'aide du ministère de la Défense américain et de 55 millions de dollars de budget, la première de ces joutes entièrement informatiques a bel et bien eu lieu. Dans le décor tapageur du Paris Hotel de Las Vegas, à quelques rues du DefCon, les machines se sont battues à mort et ont impressionné, fasciné et fait flipper tous les spécialistes.

Une interface de jeu vidéo

La compétition, intitulée Cyber Grand Challenge (CGC), est une idée de la DARPA, la branche R&D du ministère de la Défense américain, évidemment curieux d'observer le comportement de plusieurs IA dans un cadre conflictuel. Le concept : faire s'affronter sept logiciels entièrement autonomes dans une épreuve de capture du drapeau, répartir un prize money total de 3,75 millions de dollars entre les vainqueurs, et retransmettre la baston via une interface visuelle non seulement compréhensible, mais divertissante. Il faut dire que le show à l'américaine se marie mal avec une scène lénifiante dans laquelle sept frigos crépitent pendant des heures avant de pondre un résultat. Pour rendre l'épreuve diffusable, la DARPA, associée à la société de jeu vidéo voidAlpha, a donc consacré la majorité des 55 millions de dollars à la construction d'un champ de bataille, et, plus impressionnant, à la création d'un système de visualisation qui permet de suivre en direct les sept IA en train de réparer leurs serveurs, dénicher des failles et pirater leurs ennemis, à la manière d'un jeu vidéo.

Sur l'écran géant installé au-dessus des sept monolithes, les bots sont alignés en demi-cercle. Chacun est composé d'un ensemble d'hexagones comparable à l'architecture interne d'une ruche, et chaque hexagone représente un programme en cours d'exécution. Ces sept grappes sont reliées à un point névralgique central (le « champ de bataille ») par de longs fils, qui se colorent de différentes façons pour matérialiser les échanges de données entre les logiciels. Une méthode de vulgarisation plutôt sophistiquée, qui permet de voir un bot en train de se réparer, de chercher des bugs adverses ou de les exploiter, voire de se saborder accidentellement en temps réel. Mieux : pour les spécialistes, un « zoom » sur ces fils de données révèle, à la manière d'une frise chronologique, quel code est en train d'exécuter le CPU et quels chemins la machine est en train d'emprunter. Du porno pour développeur, qui transforme enfin le hacking en sport ludique capable de faire vibrer tout un chacun devant un écran… sans l'abrutir pour autant.

Comme le résume Wired, « c'est Tron, tout simplement », avec des volumes de données infiniment plus gros. Pour garantir l'autonomie totale des logiciels pendant le carnage (et en mettre plein la vue au public présent), la DARPA a isolé les sept super-ordinateurs (dans lesquels les bots sont chargés) dans un sas transparent. De temps à autre, un bras robotique se déploie pour extraire un Blu-Ray contenant les données de l'un des super-ordinateurs et l'insérer dans la visualisation, histoire de soigner le fantasme technologique. Côté folklore, les organisateurs sont vêtus d'une tenue d'arbitre de hockey, tandis qu'au pupitre, deux hackers, Visi et HJ—pas de noms—et un physicien, Hakeem Oluseyi, commentent l'épreuve avec un verbiage à la fois technique et coloré, à l'image des compétitions d'esport (et de notre estimé Ken Bogard).

Mayhem, la machine à tuer de Carnegie Mellon

Le 4 août dernier, les sept gladiateurs rescapés de la centaine de candidats au titre se sont battus fiévreusement durant 96 rounds divisés en manches. A chaque round, le DARPA fournissait aux machines différents types de services à défendre, fournis avec différentes vulnérabilités. Comme un clin d'œil historique au passé glorieux du piratage, certaines de ces vulnérabilités étaient des « célébrités » de l'informatique, comme les bugs Heartbleed ou Crackaddr, qui firent régner la terreur sur Internet en 2014 et 2003 respectivement. Comme l'explique Wired, ce que tous les spectateurs présents dans la salle ont compris en regardant défiler les fils de couleur sur l'écran géant planté au-dessus des super-ordinateurs, c'est qu'on n'est pas encore prêts à confier la sécurité de nos serveurs à des bots encore très limités. Du moins pour la majorité d'entre eux. Car à la fin des 96 rounds, le gagnant ne faisait aucun doute : Mayhem (« carnage », en VO), le bébé de l'université Carnegie Mellon de Pittsburgh (haut lieu de la robotique américaine), est au-dessus de la mêlée, plus « intelligent » que les autres.

Au fil des heures de jeu, des stratégies identifiables ont commencé à émerger des machines. Celles-ci exhibaient une sorte de « personnalité, » comme des gamers. Rubeus, l'un des plus féroces concurrents de Mayhem, a ainsi développé un côté « Leeroy Jenkins » en sautant sur tout ce qui bouge, tandis que d'autres pêchaient par excès de prudence en pesant chaque décision pendant des plombes. Sans compter les grossières erreurs et les décisions absurdes : Rubeus a ainsi patché l'un de ses bugs, ce qui l'a mortellement handicapé pour le reste de la partie. En terme de discernement, on a là l'équivalent d'un être humain qui déciderait de se couper un bras pour se débarrasser d'une piqûre de moustique. Mais après les inévitables rounds d'évaluation et d'expérimentation, les bots, bien échauffés, ont commencé à montrer l'étendue de leur glaciale intelligence stratégique.

Vers le round 70, l'un d'entre eux, Xandra, développé par Virginia Tech, a déniché et exploité un bug… que les arbitres humains du DARPA n'avaient pas prévu. Quelques minutes après cette découverte, Jima, un autre bot, patchait le bug, fournissant donc une solution entièrement inédite. Une flagrante démonstration d'intelligence, qu'aucun des êtres humains présents n'avait vu venir. Impressionnant ? Pendant ce temps-là, Mayhem, la machine qui s'apprêtait à empocher 2 millions de dollars de récompense, faisait la sieste depuis une vingtaine de rounds, indifférente au sort de ses concurrents. Elle n'aura eu besoin que de 53 rounds de jeu sur 96 (les 52 premiers et le dernier) pour s'adjuger le titre. Une fois sa marge d'avance calculée, l'IA, sûre de son coup, a choisi de se mettre en sommeil, cessant tout bonnement d'attaquer ses adversaires et se contentant de défendre son territoire en attendant la fin du jeu. La meilleure intelligence artificielle de l'histoire du hacking est un putain de poseur. Mais un poseur différent des autres bots, le seul à avoir souvent choisi de ne pas réparer ses bugs, pour mieux démolir ses adversaires démunis. Une capacité de discernement typiquement humaine.

Pour le moment, le Cyber Grand Challenge reste une attraction, et rien d'autre. Mais, avec le DefCon littéralement sur le trottoir d'en face, le petit match de la DARPA a fait parler de lui dans la communauté hacker. Les créateurs de Mayhem, de la startup de sécurité informatique ForAllSecure, se sont même fendus d'un AMA de rock stars sur Reddit pour expliquer, encore et encore, le fonctionnement de leur poulain. Avant de se payer une petite virée au DefCon pour combattre (et perdre) contre des hackers en chair et en os. Au vu des commentaires, la technologie fascine autant qu'elle inquiète, et le public du DefCon n'est pourtant pas le plus impressionnable. Il sait probablement que lorsque le DARPA organise des compétitions technologiques, que ce soit pour des courses de voitures autonomes dans le désert ou des parcours d'obstacles entre robots qui passent leur temps à se péter la gueule, ce n'est pas juste pour le sport. Non, il s'agit bien d'accélérer le développement d'une technologie au potentiel révolutionnaire qui a déjà dépassé le stade de la recherche—Google s'entoure de réseaux de neurones pour débusquer et réparer les vulnérabilités d'Android, par exemple.

Tremblez, hackers : d'autres Mayhem viendront dans les années à venir, gagnant graduellement en puissance et en complexité, gérant des systèmes de plus en plus vastes, jusqu'à rendre les opérateurs humains parfaitement dispensables. Quiconque s'est extasié devant 2001 : l'Odyssée de l'espace sera peu réticent à l'idée de laisser un super-ordinateur seul aux manettes, et de le doter d'une voix doucereuse et monocorde. I'm sorry Dave, I'm afraid I can't do that.