Le fake porn généré par machine learning prend une ampleur inattendue

Grâce à une nouvelle application facile d'accès, le porno "face-swappé" est en train de connaître une explosion.

|
janv. 25 2018, 2:10pm

Au mois de novembre dernier, Motherboard a découvert un redditor appelé deepfakes. Ce qui nous a d’abord attiré chez lui, c’est son hobby : deepfakes aime transférer des visages de célébrités sur des corps d’actrices pornographiques. Grâce à son ordinateur, un algorithme de machine learning et une poignée de vidéos accessibles à tous, il a déjà réalisé des “fakes” très convaincants de Gal Gadot, Maisie Williams et Taylor Swift. Tout ça sur son temps libre.

Depuis notre premier article, la pratique du fake porn produit à l’aide de l’intelligence artificielle a explosé. Les gens qui créent leurs propres images à domicile sont toujours plus nombreux, leurs oeuvres toujours plus réussies. Un redditor a même bricolé une application qui permet aux internautes les moins qualifiés en informatique de s’essayer au fake porn assisté par ordinateur. Tous les outils nécessaires sont gratuits, facilement accessibles et fournis avec instructions adaptées aux novices.

En clair, tout ce que nous redoutions dans notre article de novembre est arrivé à une vitesse terrifiante.

Peu de temps après la publication de notre papier, deepfakes a créé un subreddit qui porte son nom pour diffuser ses créations et promouvoir sa discipline. En deux mois, /r/deepfakes a attiré plus de 15 000 abonnés. Au sein de cette communauté, le terme “deepfakes” est désormais utilisé comme un nom commun pour désigner les réseaux de neurones qui génèrent les vidéos trafiquées.

Un autre redditor appelé deepfakeapp a créé FakeApp, une application user-friendly qui permet à n’importe qui de créer des vidéos à l’aide de son propre dataset. L’application est basée sur l’algorithme de deepfakes mais elle a été créée sans l’aide de deepfakes lui-même. J’ai tenté d’entrer en contact avec lui, mais il n’a pas répondu à une demande d’interview concernant la nouvelle popularité de sa création.

Joint via DM sur Reddit, deepfakeapp m’a déclaré qu’il avait créé FakeApp pour rendre la technologie de deepfakes accessible au plus grand nombre, c’est-à-dire aux gens sans formation technique ou informatique.

Je pense que la version actuelle de l’application est un bon début, mais j’espère la peaufiner dans les jours et semaines à venir, a-t-il expliqué. J’aimerais aussi l’améliorer à un point tel que les nouveaux utilisateurs puissent simplement sélectionner une vidéo sur leur ordinateur, télécharger une réseau de neurones corrélé à un certain nombre de visages dans une base de données publique et créer leur vidéo en un clic.”

Au début du mois de janvier, peu de temps après le lancement de notre premier article, j’ai contacté Peter Eckersle, l’information en chef de l’Electronic Frontier Foundation (EFF), pour parler de l’impact que pourrait avoir une telle technologie sur la société en général. “Je pense que nous la verrons bientôt partout et dans des formes simples, a-t-il affirmé. Aujourd’hui, vous pouvez faire des vidéos fake avec des réseaux de neurones, mais les spectateurs pourront repérer la manipulation en regardant de près, et certaines des techniques nécessaires restent assez avancées. Toutes ces observations seront fausses d’ici un à deux ans.

Au final, ces affirmations sont restées vraies pendant deux mois à peine. Nous avons déjà repéré des dizaines d’utilisateurs qui s’essayent au fake porn assisté par ordinateur. Certains d’entre eux ont créé des images incroyablement convaincantes.

Le redditor UnobstrusiveBot a mis le visage de Jessica Alba sur le corps de Melanie Rios à l’aide de Fake App. “Super rapide - j’apprends juste à ré-entraîner mon modèle. Environ cinq heures de boulot - pas trop mal pour ce que c’est”, a-t-il écrit dans un commentaire.

Le redditor nuttynutter6969 a utilisé FakeApp pour mettre le visage de Daisy Ridley sur le visage d’une autre performeuse :

Des fakes postés sur /r/deepfakes ont déjà été pris pour des vrais sur d’autres sites. Un deepfake d’Emma Watson sous la douche a été repris par CelebJihad, un site d’images X de célébrités qui publie régulièrement des clichés piratés. “La vidéo inédite ci-dessus vient de ma collection privée, écrit l’auteur. Elle semble représenter Emma Watson complètement nue et exhib pendant sa douche avec une autre fille.”

D’autres redditors ont pris des vidéos créés à l’aide de bases de données constituées de stories Instagram de célébrités pour faire des faceswaps sur des snaps de nu postés par des amateurs. “J’ai eu du bol que cette amatrice fasse des danses et des expressions faciales qui ressemblent à celles de Chloe dans ses stories Instagram”, explique par exemple le créateur d’un deepfake de l’actrice Chloe Bennet.

À l’heure actuelle, la plupart des publications de /r/deepfakes sont pornographiques. Cependant, certains utilisateurs créent aussi des vidéos qui révèlent tout le potentiel d’une technologie qui permet à quiconque possède un nombre suffisant d’images brutes de placer n’importe quel visage dans une vidéo de manière convaincante. Exemple : ce mélange Hitler-Mauricio Macri, le président argentin, par Z3ROCOOL22.

Deepfakeapp affirme que tous ceux qui peuvent télécharger et faire tourner FakeApp peuvent créer une vidéo de ce genre à l’aide d’une ou deux vidéos de haute qualité des visages qu’ils souhaitent falsifier. Le wiki de subreddit explique que FakeApp est “une application desktop communautaire conçue pour faire tourner l’algorithme deepfakes sans installer Python, Tensorflow, etc.”, et que tout le matériel nécessaire à son fonctionnement est un “bon GPU [“graphic processing unit”, les processeurs graphiques qui permettent notamment de jouer à des jeux vidéo, ndlr] avec un support CUDA [la plateforme de programmation et de parallel computing de Nvidia, ndlr].”

Si les utilisateurs aspirants ne disposent pas d’un GPU assez puissant, ils peuvent toujours louer des GPU grâce à des services type Google Cloud Platform. Accomplir le cycle complet, de l’extraction de données à la conversion image par image d’un visage à l’autre, prend environ une douzaine d’heures si tout se passe sans encombre. Certains utilisateurs ont fait état de temps de traitement bien supérieurs, parfois avec des résultats désastreux.

En l’honneur de tous ceux qui ont essayé et échoué : ma vidéo foirée”, écrit le redditor MrDrPresidentNotSure en accompagnement de son faceswap horriblement raté :

Quand je me retrouve avec ça après la conversion, ça veut dire que je devrais encore entraîner mon modèle ?” écrit yu78156853 à propos de son essai raté sur FakeApp :

Le faceswap de la princesse Leia version Rogue One par le redditor derpfake a semblé particulièrement réussi à deepfakapp. La version FakeApp est la scène sortie de l’un des plus grands studios d’Hollywood sont presque identiques – dans ces gifs basse-résolution, au moins.

“J’espère que les outils de machine learning comme celui-ci vont devenir plus accessibles dans les années à venir, et qu’ils vont permettre aux gens ordinaires, c’est-à-dire sans formation technique, d’explorer cette technologie de manipulation numérique de haut vol et de créer grâce à elle, m’a déclaré deepfakeapp. Pour le moment, tout ça est la chasse gardée des grosses entreprises d’effets spéciaux.”

En haut, des images tirées de Rogue One avec une Carrie Fisher en CGI bizarre. Budget : 200 millions de dollars, écrit derpfake à propos de sa création. En bas, un fake réalisé en 20 minutes qui aurait pu être fait à peu près de la même manière avec une actrice ressemblante. Mon budget : 0$ et quelques morceaux de Fleetwood Mac.

Une application vraiment facile d’accès pour faire des vidéos fake maison, porno ou autre, qui se répand et s’améliore à une vitesse pareille pourrait avoir des conséquences dramatiques sur la manière dont nous consommons les médias. Le choc entre un réseau de neurones open-source puissant et notre capacité toujours plus faible à distinguer les fausses informations des vraies, mais aussi la manière dont nous répandons l’information sur les médias sociaux, nous met dans une situation de catastrophe imminente.

Socialement et culturellement, cela relève de l’abus, mais nous pouvons y survivre, explique Jay Owens, digital media analyst et directeur de recherche pour la plateforme de mesure d’audience Pulsar, dans un mail adressé à Motherboard. Les vidéos virales et les médias people opèrent déjà sur le mode du pur divertissement. Ils n’en deviendront que plus sexy, plus riches en mèmes et en lulz et encore plus surréalistes.”

Deborah Johnso, professeure émérite d’éthique appliquée à l’école d’ingénieurs de l’université de Virginie, m’a affirmé que cette technologie deviendra sans doute si performante qu’il sera impossible de distinguer ses créations d’images authentiques.

On pourrait dire que ce qu’il y a de nouveau là-dedans est le degré auquel ça peut être fait, ou la véracité des transformations, nous arrivons au point où nous ne pouvons plus distinguer ce qui est réel de ce qui ne l’est pas. En même temps, avant non plus, a-t-elle déclaré. Ce qui est nouveau, c’est le fait qu’il est désormais accessible à tout le monde, ou qu’il le sera bientôt. C’est déstabilisant. Tout ce business de la confiance et de la fiabilité est mis à mal par ce truc.