La guerre nucléaire à l'heure de l'intelligence artificielle

1983. Le lieutenant-colonel soviétique Stanislav Petrov s’acquitte d’une mission importante : assis dans un bunker moscovite, il attend une attaque américaine. Si les moniteurs étalés devant lui signalent quoi que ce soit, il doit faire remonter l’information à ses supérieurs — ce qui déclenchera probablement une riposte nucléaire russe.

Un soir de septembre, les écrans de Petrov grésillent : une volée de missiles est en route pour Moscou. Pourtant, le lieutenant-colonel hésite. Au fond de lui, il sait qu’il s’agit d’une fausse alarme.

« Mes tripes me disaient que quelque chose n’allait pas, se souviendra-t-il dans le Washington Post en 1999. Je ne voulais pas faire d’erreur. J’ai pris une décision, et c’est tout. »

Petrov avait raison. Ses doutes vis-à-vis du système d’alarme et son inaction ont sauvé des millions de vies. Mais que se serait-il passé si son poste avait été confié à une machine intelligente ?

Cette question est au coeur d’un nouveau rapport de la RAND Corporation, un think tank indépendant établi à Washington D.C. Les analystes de RAND ont voulu savoir ce qui se passerait si les Stanislav Petrov de notre monde disparaissaient des salles de contrôle. En d'autres termes, que va-t-il se passer quand l'intelligence artificielle rencontrera l'arme nucléaire ?

Les bienfaits supposés du machine learning sont énormes. Les patrons de la tech décrivent l’IA en des termes utopiques, ceux qu’ils utilisaient jadis pour parler d’Internet. À l’inverse, le rapport du RAND explique que nous devrions tous être inquiets.

« L’intelligence artificielle pourrait être déstabilisante d’un point de vue stratégique, écrit l'organisation. Pas parce qu’elle fonctionne trop bien, mais parce qu’elle fonctionne juste assez bien pour nourrir l’incertitude. »

RAND Corporation a invité « plusieurs groupes d’experts, tant dans les domaines de la sécurité nucléaire que de l’intelligence artificielle, des hauts fonctionnaires et des spécialistes de l’industrie » à se rassembler, échanger et théoriser. Au cours de trois assemblées, ils ont évoqué la guerre nucléaire, l’IA et comment le machine learning pourrait sauver le monde — ou le détruire.

Depuis des décennies, la crainte de la destruction mutuelle assurée (une théorie élaborée par la RAND Corporation) pousse doucement le monde sur la pente du désarmement nucléaire. Également appelée équilibre de la terreur, la MAD veut qu’aucune puissance nucléaire n’ose lancer le premier missile par peur de déclencher l’apocalypse. Aux origines de cette crainte : la Dead Hand soviétique et l’Emergency Rocket Communications System américain, des systèmes conçus pour lancer une riposte massive sans intervention humaine. Aussi horrible soit-elle, cette idée semble nous avoir protégés de la fin du monde.

L’intelligence artificielle pourrait changer cela en donnant un avantage à l’un des belligérants. « Dans un cas extrême, l’IA pourrait saper les bases de la MAD et permettre à un camp de sortir vainqueur d’une guerre nucléaire, explique le rapport. Cependant, il faudrait beaucoup moins pour perturber la stabilité stratégique globale. » L’autre problème, c’est que les machines sont faillibles : par le passé, des hommes comme Petrov ont dû intervenir sur des systèmes électroniques pour empêcher le désastre nucléaire.

Le groupe assemblé par RAND a d’abord dû se prononcer sur le futur de l’intelligence artificielle. Va-t-elle atteindre un plateau dans un futur proche, décoller et tout révolutionner, ralentir jusqu’à devenir quasiment vaine ? Pour certains des philosophes impliqués dans les discussions, le scénario aux allures de science-fiction était le plus à craindre.

« Certains individus pensent que nous sommes condamnés à atteindre la superintelligence, un état dans lequel les machines dépassent les humains sur tous les plans intellectuels, affirme le rapport. Une fois la superintelligence apparue, deux scénarios sont possibles : la superintelligence est bienveillante et elle résoud les problèmes de l’humanité, ou la superintelligence détruit l’humanité. (…) Si elle est bienveillante, la superintelligence sauverait l’humanité de la guerre nucléaire ; si elle est malveillante, les frappes nucléaires ne seraient qu’une méthode d’extermination possible parmi tant d’autres. »

Le rapport reconnaît que la probabilité d’une extinction de masse déclenchée par une version IRL de Skynet est basse, mais il explique que « beaucoup d’observateurs pensent que (cette théorie) mérite notre attention du fait de ses coûts et bénéfices extrêmes. » Les experts qui ne croyaient pas en l’avénement d’un dieu-machine omnipotent, bienveillant ou malveillant, se sont rangés en trois groupes : les complaisants, les alarmistes et les subversifs.

Les complaisants pensent que rien ne va trop changer. Pour eux, l’IA connaîtra le même destin que toutes les « nouvelles technologies » inventées depuis la création de la bombe atomique, c’est-à-dire arriver et disparaître sans changer la stratégie militaire de qui que ce soit.

À l’inverse, les alarmistes pensent que l’intelligence artificielle va tout changer quelque soit la manière dont elle est implémantée. Ils expliquent : « Il suffit que l’intelligence artificielle soit perçue comme hautement efficace, par exemple dans le tracking ou le ciblage des lanceurs ennemis, pour tout bouleverser. Menacé de perdre ses capacités de riposte, un adversaire pourrait être contraint à lancer une frappe préventive ou à étendre son arsenal, deux scénarios négatifs. »

Les subversifs se situent entre ceux deux extrêmes. Pour eux, l’intelligence artificielle changera certaines choses sans pour autant déclencher de catastrophe, car elle sera trop facile à reprogrammer pour être réellement menaçante. Les tactiques nucléaire les plus spécifiques seront peut-être changées, mais pas au-delà.

« Certains chercheurs affirment que (les tactiques spéciales) sont l’un des domaines d’application les plus larges du machine learning, et que les recherches dans ce domaine continueront dans les années à venir », détaille le rapport. Les programmeurs du futur créeront peut-être des IA capables de suivre ou d’empêcher la détection de missiles en vol. « D’un autre côté, continue-t-il, un belligérant pourrait croire qu’il est en mesure d’empêcher une IA de reconnaître une frappe préventive, ce qui rendrait une telle frappe viable d’un point de vue tactique. »

La réponse à la question initiale de la RAND Corporation, comment l’intelligence artificielle pourrait-elle agir sur le risque de guerre nucléaire, est décevante : nous ne savons pas.

« Je suis d’accord avec le propos initial du rapport, avant tout à cause de l’incertitude profonde qui accompagne toute nouvelle technologie à haut potentiel comme l’IA », explique Peter W. Singer, expert en stratégie à la New America Foundation et éditorialiste pour Popular Science, dans un mail à Motherboard.

Singer pense que l’intelligence artificielle va tout changer mais qu’il est encore trop tôt pour savoir où ces changements auront lieu. « Le moteur à vapeur, la bombe atomique et les fusées ont bouleversé la vitesse des affrontements et le renseignement militaire, explique-t-il. L’IA aura sans doute un effet similaire. »

Espérons que l’intelligence artificielle du futur fera un peu de place à des individus comme Petrov. Après la fausse alerte de 1983, le lieutenant colonel avait déclaré : « Je faisais simplement mon travail. J’étais la bonne personne pour le bon moment, c’est tout. »