Abbiamo toccato il fondo: ora le persone fanno porno-fake dei loro amici

Poco tempo fa, abbiamo parlato del subreddit "deepfakes," una community di redditor in espansione che hanno creato porno fake di celebrità utilizzando video preesistenti e algoritmi di machine learning. Questo algoritmo riesce a prendere il viso di una celebrità da un video pubblico e copincollarlo dentro il corpo di un attore o attrice porno. Spesso, i video che ne risultano sono indistinguibili da un vero video porno. Il tutto viene realizzato grazie ad una app gratuita e facile da usare, FakeApp.

Uno dei casi peggiori di uso di questa tecnologia, prevista da esperti di informatica e di etica, sta già accadendo. Le persone stanno valutando, e in alcuni casi usando, questa app per creare dei finti video porno di chi le circonda nella vita quotidiana — amici, conoscenti, parenti, compagni di scuola — senza il loro permesso.

In una chatroom di Discord, alcuni utenti si dicevano entusiasti, si scambiavano consigli su come creare video delle persone che conoscono: per esempio, donne che avevano frequentato il loro stesso liceo. Un utente diceva di aver fatto un video “piuttosto buono” di una sua ex-compagna di classe usando 380 foto prese dai suoi account Facebook e Instagram.

Ancora più persone su Reddit e Discord stanno ragionando a fondo sulle possibilità di creare video porno falsi delle loro ex o delle loro cotte, chiedendo consigli sui modi migliori per farlo:

Ho trascorso buona parte della scorsa settimana a monitorare queste comunità composte da alcune delle decine di migliaia di persone iscritte a gruppi di appassionati del deepfake. Si tratta solo dell'ultimo sviluppo di una serie di comportamenti praticati già da lungo tempo su Reddit e altre comunità online che per la maggior parte non sono ancora stati regolati dalle piattaforme. La nostra speranza è che mettendoli in luce, le vittime del porno non consensuale generato dall'IA potranno comprendere le tattiche usate contro di loro — e che le piattaforme a cui le persone affidano i loro dati personali riescano a proteggere meglio i loro utenti, o offrano opzioni di privacy più chiare per chi non è sufficientemente consapevole.

Aggiornamento: Dopo aver pubblicato questa storia, Discord ha chiuso la chatroom in cui le persone discutevano la creazione di porno deepfake. "La pornografia non consensuale porta un blocco istantaneo dei server e un ban permanente degli utenti, ogni volta che la identifichiamo," ha dichiarato un rappresentante di Discord a Business Insider. "Abbiamo indagato su questi server e li abbiamo chiusi immediatamente".

Strumenti open source come Instagram Scraper e l'estensione di Chrome DownAlbum rendono facile estrarre le foto dagli account Facebook o Instagram disponibili al pubblico e scaricarle tutte sul proprio hard disk. Questi strumenti nascono per scopi legittimi, ad esempio, consentire a chiunque di scaricare facilmente ogni immagine pubblicata dall'account Instagram di Motherboard e archiviarla: questo comporta una maggiore probabilità che queste immagini non scompaiano mai completamente dal web. Tuttavia, i creatori di deepfake possono utilizzare questi strumenti per creare facilmente i dataset necessari per creare porno-fake con protagonisti persone che conoscono nella vita reale all'oscuro di tutto.

Una volta che i creatori di deepfake hanno abbastanza immagini di un volto con cui lavorare, hanno bisogno di trovare il corpo giusto di un attrice porno a cui abbinarlo. Non tutti i visi si adattano perfettamente su ogni corpo a causa delle differenze nelle dimensioni del volto, dei capelli e di altre variabili. Migliore è il match, più convincente sarà il risultato finale. Anche questa parte del processo di creazione di deepfake è stata semi-automatizzata e semplificata.

Per trovare il match perfetto, i deepfaker utilizzano applicazioni per browser che sostengono di utilizzare software di riconoscimento facciale per trovare performer porno somiglianti alla persona di cui vogliono inserire il volto all'interno di un porno. Porn World Doppelganger, Porn Star By Face e FindPornFace sono tre di questi strumenti web-based facili da usare. Nessuno di questi sembra molto sofisticato, ma i loro risultati sono abbastanza somiglianti da aiutare i deepfaker a trovare la migliore porno star possibile per creare dei deepfake. Un utente carica una foto della persona di cui vuole creare un porno falso, il sito restituisce un attrice più o meno somigliante e poi l'utente può cercare dei video di quell'attrice su siti come Pornhub per creare un deepfake.

Al momento, Motherboard non ha una comprensione completa di come funzionano questi siti web, al di là delle loro pretese di utilizzare la tecnologia di "riconoscimento facciale." Abbiamo contattato i creatori di Porn World Doppelganger e Porn Star By Face e vi terremo aggiornati sulle loro risposte. Porn Star By Face dice che ha 2.347 interpreti nel suo database, selezionati dai video più visti su Pornhub e YouPorn. Non sappiamo se il sito web ha richiesto l'autorizzazione di questi performer per aggiungerli al database.

Un portavoce di FindPornFace mi ha spiegato in un messaggio Reddit che la loro applicazione è "abbastanza inutile" da usare in combinazione con FakeApp per creare dei video,"perché non bastano la somiglianza degli occhi, del naso e basta, servono forme simili della testa, della mascella, il colore della pelle e così via. È un'operazione diversa. Ma, in effetti, alcuni dei match possono essere utilizzati come riferimento per la creazione di video falsi. È vero."

Il sito Porn Star By Face dice di stare lavorando per migliorare l'algoritmo su cui si basa: "La rete neurale viene addestrata dalle richieste degli utenti, quindi per favore condividete il link con i vostri amici. Ci stiamo impegnando per fornire un elevato livello di precisione. Usiamo diverse foto da diverse angolazioni per creare un modello di un attrice e, dopo aver creato un template, lo testiamo e correggiamo gli errori."

Il servizio di FindPornFace viene fornito con un disclaimer: "Utilizzando il nostro servizio, l'utente accetta di non caricare contenuti che ritraggano persone di età inferiore ai 21 anni e/o senza il permesso esplicito di tale persona". Il sito di Porn World Doggelganger è pensato perché gli utenti carichino le foto di loro stessi, non quelle di qualcun altro. Ma presenta anche diverse opzioni di quick-link per la ricerca di sosia porno di celebrità tra cui Selena Gomez, Nicki Minaj, Kylie Jenner e Courtney Cox.

Strumenti come FindPornFace stanno solo automatizzando parte di un processo che comunità presenti su Reddit, 4chan e altri famosi siti di revenge porn come Anon-IB stanno praticando manualmente da anni: trovare un doppelganger porno caricando delle foto su questi siti (e, in una certa misura, trovare "corpi corrispondenti" per photoshoppare dei volti di celebrità su performer porno).

Una di queste comunità, il subreddit "doppelbangher," ha quasi 36.000 abbonati (un altro subreddit "dopplebangher" ne ha 11.000). Molti, se non la maggior parte, dei post di questi subreddit riguardano persone conosciute dal richiedente: amici, compagni di classe, mamme di amici, conoscenti o persone per cui si sono prese una cotta anni prima. Gli utenti postano le loro foto sul subreddit (quasi sempre senza il loro consenso) e gli altri utenti commentano con dei match di attrici che gli ricordano il più possibile la persona ritratta nella foto. FindPornFace stesso ha un account Reddit che commenta frequentemente i suoi risultati.

I moderatori di r/doppelbangher consigliano nelle regole del subreddit che gli utenti non debbano pubblicare foto che possano essere ricondotte agli account dei social media caricandole prima su un sito web come imgur. La pubblicazione di informazioni personali, così come di revenge porn comporta il ban, scrivono. "Vi preghiamo di riflettere su come potrebbe sentirsi qualcuno ritrovando la propria immagine qui."

Ho letto post di redditor che facevano richieste per la "matrigna del loro amico," "una mia collega di lavoro,""un'amica del college," "un mia amica per cui mi sono preso una cotta" e "la ragazza più arrapante nel corso di ingegneria" con le loro foto prese dai social.

Se il proprietario della foto le trova, può chiedere di farla rimuovere. Ma date le regole riportate sopra sull'invio di foto non tracciabili, come potrebbe trovarle senza un controllo quotidiano dei subreddit?

Tutto questo esiste all'interno di un'area grigia della legge sulla privacy, come spiegato da Wired nel suo articolo su deepfake e legalità. Le celebrità possono citare in giudizio per appropriazione indebita delle loro immagini. Il resto di noi ha poche speranze di farlo. La legge sul revenge porn non tratta ancora la creazione di immagini false come un mashup del tuo volto su un altro corpo. Gran parte della responsabilità di prevenire questo fenomeno ricade sulle piattaforme stesse e su politiche come gli statuti antidiffamazione che devono tenersi al passo con la tecnologia.

"Creare scene di sesso finto con le celebrità nega il loro consenso. È sbagliato," mi ha detto un'attrice porno a dicembre, quando abbiamo trattato per la prima volta il tema deep fake. Gran parte dell'atteggiamento nei confronti dei doppelganger e della manipolazione delle immagini è radicato nel vedere le celebrità, in particolare femminili — e i performer porno come dei prodotti e non come persone "reali." Si tratta di un pregiudizio che emerge in diversi casi quando la comunità dei deepfaker discute di personaggi pubblici in contrapposizione, per esempio, ai loro vicini di casa o ai bambini.

Abbiamo contattato Reddit e i moderatori di queste comunità e vi terremo aggiornati sulle loro risposte.

Seguici su Facebook e Twitter