Le fake porn généré par machine learning concerne désormais tout le monde

La semaine dernière, nous vous avions parlé d’un subreddit appelé deepfakes. Ses utilisateurs créent de fausses vidéos pornographiques de célébrités à l’aide d’image pré-existantes et d’un algorithme de machine learning. Cet algorithme est capable de prendre le visage d’une célébrité dans une vidéo accessible au grand public et de le coller sur le corps d’un acteur pornographique. Dans bon nombre de cas, les images fabriquées semblent réelles. Tout le processus est réalisé à l’aide d’une application gratuite et user-friendly, FakeApp.

Cette technologie est déjà utilisée de l’une des pires façons possibles. Certaines personnes s’emploient à créer des images pornographiques de personnes qu’ils connaissent IRL : des amis, des connaissances, des ex-conjoints, des camarades de classe… sans l’accord des intéressés, bien évidemment.

Dans la chatroom Discord de /r/deepfakes, certains enthousiastes affirment qu’ils créent activement des vidéos de personnes qu’ils connaissent réellement, comme des camarades de classe. Un utilisateur a déclaré qu’il avait créé une vidéo “plutôt réussie” d’une fille avec laquelle il était allé au lycée en utilisant 380 images récupérées sur les comptes Facebook et Instagram de sa victime.

Sur Reddit et Discord, un nombre encore plus important d’internautes s’interrogent à voix haute sur la possibilité de créer des vidéos X de leur intérêt romantique du moment ou de leur ex. Certains n’hésitent pas à demander de l’aide au public :

J’ai passé une bonne partie de la semaine dernière à observer ces communautés de dizaines de milliers d’individus dans lesquelles certaines pratiques sont déjà monnaie courante. Elles sont les héritières de comportements identifiés de longue date sur Reddit et d’autres communautés en ligne mais largement non-régulées.

En démistifiant ces communautés, nous espérons permettre aux victimes de fake porn assisté par machine learning de comprendre et articuler les tactiques employées contre eux. Nous espérons aussi que les plateformes auxquelles ces gens confient leurs informations personnelles parviendront à protéger plus efficacement leurs utilisateurs, ou à proposer des options de protection de la vie privée plus accessibles à ceux qui ne les connaissent pas.

Mise à jour : après publication de cet article, Discord a fermé le groupe Discord dans lequel des internautes discutaient ouvertement de la création de vidéos deepfakes. “La pornographie non-consensuelle est un motif de fermeture instantanée des serveurs à l’instant où nous les identifions, ainsi qu’un motif de bannissement permanent des utilisateurs concernés, a déclaré un représentant de Discord à Business Insider. Nous avons enquêté sur ces serveurs et les avons fermés immédiatement.”

Des outils open-source comme Instagram Scraper et l’extension Chrome DownAlbum facilitent considérablement l’extraction massive d’images disponibles publiquement sur des comptes Facebook ou Instagram. Ces outils ont des usages légitimes et sains. Par exemple, permettre à n’importe qui de télécharger et archiver facilement n’importe quelle image publiée sur le compte Instagram de Motherboard, c’est permettre à cette image de rester sur le réseau plus longtemps, voire de ne jamais en disparaître. D’un autre côté, les créateurs de vidéo deepfakes peuvent utiliser ces outils pour créer les bases de données dont ils ont besoin pour fabriquer des vidéos pornographiques d’individus qu’ils connaissent IRL.

Quand les créateurs de deepfakes ont assez d’images d’un visage pour lancer le processus, ils doivent aussi trouver un corps de performeur X qui convient à ce visage. N’importe quel visage ne peut pas finir sur n’importe quel corps ; les cheveux, la taille et plusieurs autres variables doivent être pris en compte. Plus les deux parties s’accordent, meilleur sera le résultat final. Cette partie de la chaîne d’assemblage deepfakes a également été semi-automatisée.

Pour trouver l’assemblage parfait, les deepfakers utilisent des applications pour navigateur qui affirment utiliser la reconnaissance faciale pour trouver des acteurs pornographiques qui ressemblent à une persone donnée - dans ce cas, à la personne dont le visage finira sur des images fake. Porn World Doppelganger, Porn Star By Face et FindPornFace sont trois outils web de ce genre. Aucun d’entre eux ne semble particulièrement sophistiqué, mais tous donnent des résultats assez proches de ce que cherchent les deepfakers. Un utilisateur téléverse une photographie de leur victime, le site la traite et propose un acteur qui lui paraît ressemblant et le tour est joué. Ne reste qu’à trouver les vidéos du performeur ainsi sélectionné pour créer un deepfake.

Au moment de l’écriture de cet article, Motherboard ignore comment fonctionnent ces sites au-delà de leur prétendue utilisation de la reconnaissance faciale. Nous avons contacté les créateurs des trois sites citées plus haut et mettrons cet article à jour lorsque nous obtiendrons leur réponse. Porn Star By Face affirme que sa base de données contient 2 347 performeurs tirés des classements de Pornhub et YouPorn. Nous ne savons pas si les individus concernés ont donné leur autorisation.

Contacté via message privé sur Reddit, un porte-parole de FindPornFace m’a déclaré que l’application était “plutôt inutile” pour les deepfakers car “[elle] n’a pas seulement besoin d’un visage similaire par les yeux, le nez et compagnie, elle a besoin d’une forme de tête et de mâchoire similaire, de couleur de peau similaire et ainsi de suite.” Il a ajouté : “C’est une tâche différente. Mais oui, certaines des filles fournies à la recherche par photo peuvent être utilisées pour trouver une star qui sera utilisée pour créer une vidéo fake. C’est vrai.”

Le site Porn Star By Face explique qu’il travaille à l’amélioration de son algorithme : “Le réseau de neurones est entraîné par chacune des requêtes que vous envoyez, alors n’hésitez pas à partager le lien avec vos amis. Nous souhaitons atteindre un haut niveau de précision. Nous utilisons plusieurs images prises sous différents angles pour créer un template d’actrice. Après création de ce template, nous le testons et corrigeons ses erreurs.”

FindPornFace vient accompagné d’un disclaimer : “En utilisant notre service, vous acceptez de ne pas téléverser de contenu représentant une personne dont l’âge est inférieur à 21 ans et/ou qui n’a pas donné sa permission explicite.” Le site de Porn World Doppelganger laisse entendre que ses utilisateurs doivent uploader des photographies d’eux-mêmes et pas d’une personne tierce. Cependant, il propose plusieurs options de test basées sur des célébrités, notamment Selena Gomez, Nicki Minaj, Kylie Jenner et Courtney Cox.

Des outils comme FindPornFace se contentent d’automatiser une partie du processus que des communautés numériques comme Reddit, 4chan et le célèbre site de revenge porn Anon-IB suivent manuellement depuis des années : trouver un double pornographique grâce aux photos publiées par leurs membres et, dans certains cas, faire des montages Photoshop sur des corps de performeurs.

L’une de ces communautés, le subreddit /r/doppelbangher, compte près de 36 000 abonnés. Le mal-orthographié /r/dopplebangher en a 11 000. Beaucoup, sinon la plupart des publications de ces subreddits sont des requêtes concernant une personne proche du quémandeur : des amis, des camarades de classes, des mères d’amis, des connaissances, des crush à longue distance. Les utilisateurs diffusent leurs photographies à la communauté (semble-t-il sans consentement dans la majorité des cas) et les utilisateurs suggèrent des acteurs qu’ils jugent ressemblants. FindPornFace a un compte Reddit qui communique fréquemment ses résultats en commentaire.

Les modérateurs de r/doppelbangher conseillent aux abonnés de ne pas diffuser de photographies qui pourraient guider vers un compte sur un réseau social. La publication d’informations personnelles et le revenge porn sont passables de bannissement. “S’il vous plaît, pensez à comment une personne qui trouve sa photographie ici pourrait se sentir.”

Si le propriétaire de la photographie la trouve sur le subreddit, ils peuvent demander à ce qu’elle soit supprimée. Cependant, avec les règles citées plus haut, comment une personne pourrait-elle se découvrir sur /r/doppelbangher sans faire un scan quotidien d’Internet à la recherche de leur visage ?

“Créer de fausses scènes de sexe de célébrités dérobe leur consentement. C’est mal”, m’a déclaré un professionnel de l’industrie pornographique en décembre dernier, quand nous avons publié notre premier article sur les deepfakes. Une bonne partie des attitudes concernant les doppelgangers et la manipulation d’image est inscrite dans une manière de percevoir les célébrités (particulièrement féminines) et les acteurs X comme des commodités et non comme de “vraies” personnes. C’est ce biais qui surgit régulièrement dans les discussions de la communauté deepfakes concernant les figures publique et pas le voisin, par exemple.

Nous avons fait parvenir une demande de commentaire à Reddit et aux modérateurs des communautés concernées et mettrons cet article à jour en cas de retour.