Il database per il terrorismo sui social genera più dubbi che sicurezze

All'inizio di dicembre Facebook, Microsoft, Twitter e Youtube hanno annunciato una nuova collaborazione per creare "una banca dati condivisa dall'industria" che identifichi "contenuti che promuovono il terrorismo". Ogni azienda sfrutterà il database per individuare manifestazioni di "linguaggio violento legato al terrorismo o video ed immagini di reclutamento per organizzazioni terroriste" sulle loro piattaforme, e rimuoverà i contenuti secondo le proprie politiche.

La tecnologia impiegata, nello specifico, non è nulla di nuovo. Il nuovo accordo annunciato è presumibilmente ispirato a ciò che queste aziende già fanno quando si parla di pedopornografia. Ma l'utilizzo di questa tecnologia per individuare "contenuti di matrice terroristica" solleva molte domande. Chi dovrebbe avere il compito di decidere se qualcosa promuove o meno il terrorismo? La tecnologia che combatte la pedopornografia è appropriata per affrontare questo particolare problema? E la più preoccupante di tutte – c'è realmente un problema da risolvere? Quattro titani del mondo tech potrebbero aver appena sottoscritto un accordo per sviluppare un più robusto sistema di censura e sorveglianza con il pretesto di un movimento di radicalizzazione online la cui esistenza non è completamente supportata da prove empiriche.

Come l'industria tecnologica ha costruito un sistema per rilevare la pornografia infantile

Molte aziende—per esempio Verizon, che usa un servizio di backup online per i file dei suoi clienti—usano un database gestito dal Centro Nazionale per i Bambini Scomparsi e Sfruttati (National Center for Missing and Exploited Children, NCMEC) per identificare la pornografia infantile. Se trovano un riscontro, i provider del servizio notificano la tipline virtuale del NCMEC, che poi passa le informazioni ricevute alle forze dell'ordine.

Il database non contiene le immagini, ma piuttosto i dati hash di esse—impronte digitali virtuali che identificano un documento. Questo significa che i provider possono scandagliare i loro server senza "guardare" i file di nessuno. Grazie a PhotoDNA, una tecnologia donata da Microsoft, i dati hash sono generati usando le informazioni biometriche contenute all'interno di foto e video, e ritagliare o ridimensionare i file non necessariamente cambia il valore della funzione utilizzata.

L'annuncio di lunedì segna un momento storico: le aziende tentano per la prima volta di utilizzare questo tipo di tecnologia per combattere la diffusione di "materiale di matrice terroristica in rete". È una strana accoppiata. L'hash matching system è allettante per molte ragioni, quando si parla di lotta alla pedopornografia. Per esempio, permette alle aziende di esaminare i file senza recuperare informazioni circa i file privi di riscontro—perciò in teoria senza violare la privacy di nessuno, a parte, ovviamente, quella di chi è in possesso di pornografia infantile. Inoltre, esenta il personale dal guardare il porno infantile per identificarlo—lo stesso atto di guardarlo al fine di rimuoverlo dalla rete può essere traumatico per gli impiegati che devono analizzare il contenuto delle piattaforme.

Applicare l'hash system al terrorismo

Nessuno di questi specifici vantaggi dell'identificazione tramite hash sembra applicarsi ai "contenuti di matrice terroristica", visto che la collaborazione pare concentrarsi sulle pubblicazioni sui social media. (Ho chiesto a Facebook, tramite mail, se il sistema sarà usato anche con i messaggi privati tra utenti, ma non ho ricevuto risposta). Inoltre, le aziendecompagnie hanno dichiarato nel loro comunicato stampa che sarà un operatore umano a visualizzare i contenuti prima di rimuoverli. Il comunicato stampa implica, senza però affermarlo esplicitamente, che i riscontri rilevati non saranno inoltrati ad ufficiali governativi, al contrario di quanto avviene per quelli relativi alla pedopornografia.

Infatti, uno degli aspetti più utili delle identificazioni da banca dati pedopornografica è che il tutto viene amministrato da una singola entità con conoscenze ed esperienza specifiche sui contenuti in esame, ovvero il NCMEC. Il database delle "pubblicazioni di matrice terroristica che viene proposto sarà invece composto da hash forniti da ogni piattaforma mentre rimuove contenuti basandosi sulle proprie politiche.

Facebook rimuove "contenuti che esprimono supporto" per i gruppi coinvolti in terrorismo e crimine organizzato. Persino "supportare o elogiare i leader di queste stesse organizzazioni, o legittimare le loro attività violente" è bandito dalla piattaforma. Perciò, per esempio, un video che elogia l'ISIS potrebbe essere rimosso da Facebook. L'impiegato di Facebook o l'appaltatore che lo rimuove potrebbe decidere di segnalare il video e condividere l'hash sul database. La banca dati segnalerà lo stesso video una volta caricato su Youtube.

Le politiche sul terrorismo di Youtube, tuttavia, sono diverse da quelle di Facebook: proibiscono i video di reclutamento e altri contenuti che incitino alla violenza. Teoricamente, il solo fatto che quel video sia nella banca dati non significa che verrà automaticamente rimosso.

Ma Facebook, Twitter e YouTube sono state tutte ampiamente criticate per l'applicazione apparentemente confusa e contradditoria delle loro stesse politiche, sia che esse riguardassero la nudità, le molestie, o le violazioni del copyright. Identificare il "contenuto terroristico" implica altrettante difficoltà di giudizio.

Il video di un uomo in passamontagna che decapita un giornalista americano sembra uno scenario abbastanza limpido, ma il mondo è ben più complicato della semplice dicotomia ISIS—Non-ISIS. Hamas non è solo un importante partito politico che vince elezioni parlamentari in Palestina, è stato anche classificato come organizzazione terroristica da molti stati sovrani, compresi gli Stati Uniti. Anche il Partito dei Lavoratori del Kurdistan (chiamato talvolta PKK, abbreviazione di Partiya Karkerên Kurdistanê) è classificato come organizzazione terroristica dagli Stati Uniti, anche se gli US hanno fornito supporto aereo alle loro forze armate nella lotta all'ISIS.

Se il Dipartimento di Stato non riesce ad essere coerente in merito a chi è un terrorista e chi no, è una buona idea delegare questa decisione a aziende tech che vengono inspiegabilmente turbate da capezzoli umani?

Queste preoccupazioni non sono solo ipotetiche. Facebook è già stato criticato in passato per l'apparente censura dei giornalisti palestinesi.

Gli esperti temono che l'atteggiamento istigatorio con cui la società e i media si relazionano al terrorismo, combinato con un processo di rimozione aziendale, possa produrre censure illegittime. "Per quanto mi riguarda, voi avete costruito un martello, e adesso state chiedendo al mondo di cercare dei chiodi," dice Andy Sellar, direttore del Laboratorio di tecnologia e legge virtuale di Boston University e MIT. "Questo è un sistema che incoraggia un eccesso di copertura."

Per quanto il comunicato stampa sottolinei che la banca dati si limiterà solo a segnalare il contenuto e che la rimozione non sarà automatica, Sellars sostiene di non aver visto un mondo in cui le aziende tech esiterebbero a rimuovere contenuti classificati come "promotori del terrorismo."

E segnalare il contenuto basandosi sugli hash si basa sul contenuto, appunto, non sul contesto o sul messaggio inviato. Sellars ha segnalato che la pedopornografia "è davvero l'unico ambito in cui i media fanno contrabbando, per sua stessa definizione." Un video di reclutamento dell'ISIS, invece, cambia in significato ed effetto quando condiviso da giornalisti o scienziati sociali che studiano l'estremismo.

Questo punto di vista è condiviso da altri. Hugh Handeyside, avvocato dell'Unione delle Libertà Civili Americani (American Civil Liberties Union, ACLU) dice: "Questo tipo di sistema di segnalazione digitale è stato usato per identificare la pornografia infantile, ma la pornografia infantile e il cosiddetto contenuto di matrice terroristica non sono realmente paragonabili. Il primo è sempre illegale, il secondo potrebbe essere una notizia."

Inoltre, in un'intervista per On the Media del gennaio 2016, John Horgan, un professore di psicologia alla Georgia State University specializzato nello studio del comportamento terrorista, ha affermato: "Pedofilia e terrorismo sono molto diversi. Voglio dire, non c'è nessun parametro chiaro per definire che cosa sia veramente il coinvolgimento nel terrorismo. Il terrorismo può essere qualsiasi cosa, dal visitare siti radicali al donare soldi a siti discutibili, fino ad arrivare ad attività ben più estreme, come la volontà di recarsi oltreoceano per diventare foreign fighters, o costruire bombe." (Ho scritto ad Horgan per discutere ulteriormente della questione, ma non ha risposto in tempo per la pubblicazione di questo articolo).

Il "contenuto che promuove il terrorismo" porta a vero terrorismo?

La tecnologia costruita per gestire la pornografia infantile potrebbe essere poco adatta a combattere il "contenuto terrorista", ma—e questo è anche più preoccupante—non c'è consenso sul fatto che i terroristi siano resi tali da contenuti estremisti presenti su Internet. In realtà, anzi, ci sono molte prove del contrario.

Handeyside, dall'ACLU, ha affermato che: "Le decisioni in merito a cosa costituisca materiale terroristico sono spesso basate su teorie in materia di radicalizzazione e violenza che studi e ricerche hanno confutato."

Horgan è similmente critico della narrativa della radicalizzazione online. Ha dichiarato infatti che non esiste un singolo profilo del terrorista, o di ciò che lo rende tale. Sembra, anzi, che la "radicalizzazione" non sia neanche parte del processo.

"Ci sono sempre più testimonianze a suggerire che le persone coinvolte nel terrorismo non abbiano vedute radicali. Quantomeno, non all'inizio," ha detto Horgan lo scorso gennaio. "In molti casi vediamo le idee radicali svilupparsi come risultato del tempo passato in un gruppo terrorista… Ci sono molti esempi di individui da me intervistati che hanno detto, 'Beh, non ho realizzato perché fossi diventato parte del movimento fino a quando… non sono finito in prigione.'"

L'ISIS è sicuramente molto attivo sui social media, e la loro presenza su piattaforme create da aziende americane potrebbe essere allarmante per persone che si sentirebbero altrimenti distanti dal conflitto estero. Ma la presenza dell'ISIS sui social media non si traduce necessariamente in effetti sul mondo reale.

Horgan dice che persino l'ISIS riconosce che il coinvolgimento di molti suoi adepti comincia e finisce online. "Uno dei nostri ricercatori, Charlie Winter, ha scoperto che molte jihadiste anziane con base in Siria si lamentano con i simpatizzanti stranieri negli Stati Uniti dicendo: "Come osate passare tutto il vostro tempo limitandovi ai social media. Dovete alzare il sedere e venire qui fuori e unirvi alla battaglia."

Potenziale sfruttamento della banca dati da parte delle forze dell'ordine

Il comunicato stampa di lunedì implica che le compagnie accordatesi non hanno intenzione di fornire al governo libero accesso alle loro piattaforme usando il database.

"Nessuna informazione personalmente riconducibile sarà condivisa… e ogni azienda continuerà ad attuare la propria politica di trasparenza e revisione per ogni richiesta governativa," afferma il comunicato. Ma pecca di affermare esplicitamente che, per esempio, non si atterà ad ordini del Foreign Intelligente Surveillance Act (FISA) simili a quello che hanno portato Yahoo a costruire un sistema che ha scandagliato le email di tutti i suoi clienti.

Infatti, in quel caso specifico, un ufficiale anonimo ha detto al New York Times che il governo stava cercando "firme digitali" di un "metodo di comunicazione usato da un'organizzazione terroristica estera sponsorizzata da un governo" nelle email di tutti gli utenti di Yahoo. Non si sa se l'ordine FISA riguardasse una funzione hash. (In realtà, altre fonti hanno detto a Motherboard che la descrizione fornita al Times è sbagliata, e che il sistema di scan di Yahoo era più simile ad un rootkit.)

Facebook e Google sono state criticate in passato per aver permesso alla National Security Agency di accedere ai dati dei loro clienti nell'ambito del programma PRISM, come svelato dai documenti Snowden. In seguito alle reazioni negative a queste rivelazioni, molte aziende tech sono diventate più circospette riguardo alla loro cooperazione con il governo americano—uno sviluppo a volte definito "effetto Snowden."

Ma anche se adesso si può ritenere che le aziende si tratterranno dallo spifferare informazioni senza un ordine governativo legalmente vincolante, ciò non significa che il governo non possa ottenere un ordine legalmente vincolante che gli garantisca accesso al neonato database antiterrorismo e le allegate possibilità di esame.

Sellars, ed altri avvocati con esperienza in leggi riguardo la sorveglianza elettronica, dicono che un mandato per—ad esempio—esaminare tutto Facebook per una specifica immagine mancherebbe di "specificità"—un requisito necessario sotto il Quarto Emendamento, che proibisce ricerca e sequestro ingiustificati. In ogni caso, un ordine FISA potrebbe essere una questione diversa. L'Electronic Frontier Foundation ha sostenuto, e continua a sostenere, che ordini del genere sono incostituzionali, e c'è dibattito in merito al fatto che FISA o qualsiasi legge possa legittimamente autorizzare un ordine come quello del caso Yahoo. Ma il caso Yahoo, e altri casi aperti, creano precedenti pericolosi per ciò che le corti hanno ritenuto accettabile.

"La possibilità di trasferire questo concetto dallo specifico contesto di identificazione sulle piattaforme online ad un strumento di sorveglianza è forse la cosa più spaventosa," ha detto Sellars. Come e in quali termini il governo possa appropriarsi della tecnologia che la Silicon Valley sta costruendo per se stessa non è ancora dato sapere. Non è chiaro se la legge permetta alle forze dell'ordine o agenzie di intelligence di esaminare intere piattaforme per specifiche immagini o video. L'unica cosa che sappiamo è che non solo ciò è tecnicamente possibile, ma che quattro compagnie si sono accordate per costruire i mezzi per farlo.