Perché la fantascienza non sarà mai la nostra realtà sociale

S. A. Applin, Ph.D. è un antropologa che si dedica alla ricerca in ambito di human agency, algoritmi, AI e automazione nel contesto dei sistemi sociali. Seguila su Twitter.

“Il problema di ogni gattino è che prima o poi diventerà un gatto.” — Ogden Nash

La fantascienza è meravigliosa. È fonte di grande ispirazione, è divertente da leggere e dà agli esseri umani tantissimi spunti. Tuttavia, non dovrebbe essere considerata come un manuale di istruzioni per creare cose reali nel mondo, non senza prima aver considerato le conseguenze che questo potrebbe avere sulla società.

Il riconoscimento facciale è già realtà. Il sistema Rekognition di Amazon è uno strumento piuttosto semplice che possono usare gli sviluppatori, mentre Azure di Microsoft è persino in grado di riconoscere le emozioni e chi le sta provando. Apple “usa tecnologie avanzate di riconoscimento facciale per classificare le tue foto in base alle persone negli scatti” su iPhoto e sugli iPhone, e grazie a FaceID puoi sbloccare il telefono usando una foto.

Le aziende che utilizzano la stessa tecnologia sono davvero tante. Anche Adobe offre il riconoscimento facciale in Photoshop Lightroom Classic CC. E così, piano piano, la tecnologia si è fatta strada nelle nostre vite. Ad oggi, negli Stati Uniti sono in fase di sviluppo diverse applicazioni di questa tecnologia, che sicuramente ci faranno riflettere: come l’utilizzo nelle scuole, o a supporto dei dipartimenti di polizia, o ancora per potenziare le telecamere che indossano alcuni poliziotti.

Uno dei principali problemi legati al riconoscimento facciale e alle tecnologie derivate nasce quando le grandi aziende, che hanno la capacità di raggiungere milioni di persone, decidono di testare sul campo questo strumento di sorveglianza potentissimo; qui le conseguenze diventano reali e immediate. Lo scorso anno ho scritto che gli esseri umani stavano diventando “cibo per algoritmi,” nel senso che tutti i dati che produciamo vanno ad alimentare gli algoritmi di Amazon e soci che si nutrono di quelle informazioni per profilarci e rintracciarci in ogni dove, usando le nostre impronte digitali per controllarci.

La scorsa settimana, in un editoriale di opinione sul Guardian, Peter Asaro, Kelly Gates e altri ricercatori hanno scritto che Amazon non solo sta sviluppando un’intera “infrastruttura di riconoscimento facciale,” ma sta anche raccogliendo “una mole enorme di dati personali sugli individui, tipo cosa leggono e cosa guardano” e grazie a Echo e Alexa sa anche “di cosa parlano a casa.” Gli studiosi descrivono questa modalità di raccolta dati come un “apparato massivo e automatizzato di sorveglianza” che richiede “un altrettanto ampio sistema di supervisione,” che “non è ancora stato sviluppato.”

E forse mai lo sarà. Per capire perché, è importante capire chi sono le persone che stanno sviluppando questi dispositivi, e per quali motivi lo stanno facendo. Queste aziende, in quanto a ricchezza, disponibilità di risorse e contatti con gli utenti spesso superano i governi. Tra l’altro, quando viene sviluppata una nuova tecnologia, ci vuole molto tempo prima che siano approvate e vagliate nuove norme a riguardo. Ecco perché in tantissimi studiosi, esperti di etnicismo e dipendenti delle aziende tech stanno richiamando l’attenzione sul tema della sicurezza e della tutela degli utenti.

Il mio lavoro di ricerca esamina la capacità d’azione umana e il tema della scelta nel contesto dell’automazione, mentre nella mia tesi di dottorato ho analizzato il comportamento dei produttori della Silicon Valley in un arco di tempo di otto anni. Ne so qualcosa di innovazione, e in particolare di “innovatori fuori dagli schemi.” Ci sono due possibili ragioni per cui quello che fanno queste persone è pericoloso: l’interpretazione letterale della fantascienza come reale fonte di ispirazione, e l’applicazione errata del Principio di Pareto.

La fantascienza non è realtà sociale

Chi crea le tecnologie e chi possiede le aziende è influenzato dalla fantascienza per diverse ragioni. Alcune di queste hanno a che fare con la narrativa dell’eroe outsider, che usa le sue conoscenze e abilità per risolvere un problema, inventando una nuova soluzione e riadattando tecnologie e strumenti esistenti per far fronte al problema. Altre ragioni hanno a che fare con la creazione di una società utopistica “migliorata” da strumenti automatizzati che ci fanno risparmiare tempo e fatica.

Basta pensare a Star Trek, Bladerunner, Star Wars, Minority Report e tanti altri film, come altrettanti libri: qui tutto fila perfettamente liscio. Quando qualcosa va storto, c’è sempre qualcuno che ha un’intuizione geniale per risolvere il dramma. E anche quando la fantascienza si scaglia contro l’umanità, come succede in 2001: Odissea nello spazio, i ritrovati tecnologici e i gadget high tech sono comunque presentati come una “tecnologia cool”, tralasciando spesso il messaggio di allerta che era alla base del film.

I miti nella fantascienza sono tanti, primo tra tutti il fatto che l’automazione sia sempre perfettamente funzionante e venga utilizzata senza alcun intoppo nelle sue applicazioni — ci piacerebbe tanto, ma non è sempre così. Nella fantascienza i problemi si risolvono perché gli autori hanno — ovviamente — pensato a una soluzione. Sì, ma la soluzione vale giusto nella realtà immaginaria, e spesso è solo abbozzata e mai testata.

I miliardari delle aziende tech e gli sviluppatori che si lasciano influenzare dalla fantascienza tendono a credere che quello che funziona nella fantascienza funzioni anche nella vita reale, nella cultura e nella società contemporanee, senza considerare il quadro d’insieme, né verificarne la fattibilità.

Gadget, servizi strabilianti e tecnologie impensabili funzionano nella fantascienza perché è pura finzione. Funzionano perché è narrativa, e i loro autori e sceneggiatori li hanno immaginati e mostrati come funzionanti. Funzionano perché nella finzione è facile far quadrare tutto, perché non sono cose reali e nessuno verifica se nella realtà funzionerebbero davvero.

Quando tentiamo di riprodurre nella realtà quello che succede nella finzione, non vuol dire che tutto funzionerà come nel racconto o nel film. Non è possibile. Contesto, momento storico e persone sono differenti. E soprattutto la fantascienza è finzione, non dimentichiamolo.

Lo stesso concetto vale per molte altre cose, oltre al riconoscimento facciale. Vale per tante tecnologie che possono funzionare in alcuni contesti, ma non in tutte le società. Tra questi: le auto a guida autonoma, i droni, i jetpack, le auto volanti, la realtà virtuale, la realtà aumentata, il riconoscimento vocale, le conversazioni con i chat-bot, i dispositivi intelligenti con cui parlare in casa come Google Home, Amazon Alexa, HomePod e Siri di Apple, Cortana Home Assistant di Microsoft, l’autocomplete di Gmail, Google Duplex, le biciclette e gli scooter in free-sharing, i robot killer, i delivery robot, i supermercati automatizzati, i software rideshare e tantissime altre tecnologie che oggi stanno plasmando la nostra realtà. L’Internet delle Cose a livello industriale, i robot in fabbrica e gli algoritmi della logistica contribuiscono a rendere sempre più tecnologica la nostra esperienza di consumatore, senza che noi ce ne rendiamo conto.

La tecnologia di riconoscimento facciale e altri sistemi di raccolta dati, sorveglianza e tracking di ogni tipo delle grandi aziende (Google, Apple, Microsoft, Amazon, ecc.) sono rappresentati come una sorta di piano perfetto basato sulla raccolta di narrative fittizie che solo perché le cose sono inventate, funzionano egregiamente — ovvio, no?

Le invenzioni e le creazioni ispirate alla fantascienza non devono soddisfare i criteri di una società complessa. Non devono rispettare le esigenze e la cultura di tutti, non devono essere utilizzabili da anziani o disabili e non considerano le differenze di genere.

Le tecnologie descritte nelle opere di fantascienza non devono funzionare — se non in quel mondo immaginario in cui sono inserite, e in cui necessariamente funzionano, grazie all’astuzia degli autori.

Le aziende che hanno investito e inventato nuove tecnologie sulla base di immaginari mitologici e futuristici, e che oggi cercano di realizzarle e applicarle al presente, non si rendono conto che la società attuale non è ancora pronta e forse mai lo sarà.

Oggigiorno, l’uomo si deve abituare all’idea che sarà identificato tramite il suo volto. Con il machine learning, i big data e le IA il processo di adattamento è sempre più ricco e complesso.

L’adattamento dell’uomo è necessario, per via di tutte quelle tecnologie ispirate alla finzione e trasposte nella realtà. La nostra vita ormai è un continuo apporto di dati agli algoritmi, oppure un disperato tentativo di vivere aggirandoli. Alcuni sono divertenti, altri terrificanti (in particolare quando l’algoritmo arriva a uccidere, o a creare situazioni molto pericolose). È un caos minaccioso ed in continua espansione.

Ad ogni modo, questa aggregazione potentissima di tecnologie fuori controllo, software o hardware, dovrebbe preoccuparci. Abbiamo lasciato che si instaurasse una sorta di potenza tecnologica (capeggiata dalle grandi aziende) e che questa costruisse il nostro presente, e il nostro futuro, sulla base di storie di fantasia e di un futuro immaginario.

Ma ricordiamoci che tutte queste fantasie non vengono testate. Non vengono messe alla prova. Sono impiegate su larga scala ma sono ancora imperfette.

Ogni rappresentazione tratta dalla fantascienza o dalla fantasia potrebbe non essere compatibile con la visione di altri soggetti che stanno sviluppando la stessa cosa. Noi esseri umani e il mondo reale che abitiamo, fatto di corpi, culture e società, siamo diventati il banco di prova per diversi “progetti” tecnologici in ogni momento. Le tecnologie che si basano sulla fantascienza non sono create in modo sincrono e nel momento in cui vengono sviluppate, anche altri potrebbero essere nella fase di progettazione delle stesse tecnologie o simili.

Si parla quindi di PolySocial Reality (PoSR), un modello dove confluiscono informazioni provenienti da fonti diverse, in momenti diversi. Queste attività possono compromettere la connessione positiva e la cooperazione per molti.

I nostri governi come sono strutturati oggi non sono in grado di proteggerci — non capiscono nemmeno il fenomeno nella sua interezza. Le tecnologie di sorveglianza non testate potrebbero creare gravi danni alla società. Almeno, le misure di protesta sono state efficaci: oltre 300 studiosi e ricercatori hanno offerto il proprio supporto agli impiegati che hanno creato una petizione per chiedere a Microsoft di non implementare Azure con ICE [l’agenzia federale americana che si occupa di immigrazione, nota per la brutalità dei propri mezzi, ndt]. Come risultato di questa iniziativa, Microsoft ha chiesto al governo americano di legiferare sull’utilizzo della tecnologia di riconoscimento facciale, e ora sembra che stiano procedendo.

Inoltre, anche altri governi stanno promuovendo iniziative diverse per difendere i propri cittadini in vari modi e in diverse regioni. Eppure, ogni governo è strettamente legato alla propria area geografica di competenza, mentre le aziende della Silicon Valley e la loro influenza, nonostante le recenti norme legali di protezione, non conoscono confini.

Il Principio di Pareto

Un altro problema dell’utilizzo di tecnologie ispirate alla fantascienza su larga scala è che gli ingegneri che sviluppano queste tecnologie e gli imprenditori che le promuovono spesso si affidano a interpretazioni diverse del Principio di Pareto. Vilfredo Pareto era un economista che si occupò di distribuzione del reddito. Nel 1906, Pareto osservò le piante di piselli nel suo cortile e si rese conto che “il 20 percento delle piante di piselli, generava l’80 percento del raccolto totale.”

Utilizzò questo caso per studiare la distribuzione impari del reddito, con un esempio ben più noto secondo cui il 20 percento dei proprietari terrieri in Italia dell’epoca avrebbe detenuto l’80 percento delle terre. Da un punto di vista economico, input e output sono distribuiti in modo irregolare.

Joseph M. Juran, ingegnere e consulente, venne a conoscenza del lavoro di Pareto e lo applicò al suo campo di studi: l’ingegneria meccanica e il controllo qualità. Juran ha adattato le scoperte di Pareto, rinominandole così come Principio di Pareto. Questo concetto è stato utilizzato in meccanica per mostrare che un piccola percentuale di lavoro può generare grandi risultati. Lo scopo per cui venne applicato il Principio era concentrarsi sulle minime quantità di lavoro o sforzo e sull’enorme quantità di risultati che potrebbero portare. Il Principio di Pareto viene adottato nei modelli di business e in molti ancora lo utilizzano per giustificare le proprie decisioni nello sviluppo di prodotti.

Con il tempo, interpretazioni diverse del Principio di Pareto nella creazione di software e nel marketing hanno dato vita alla convinzione che “un prodotto minimo funzionante” sia sufficiente per essere commercializzato. In questo modo, la regola 80/20 è stata modificata nel contesto per sostenere la produzione e la vendita di software incompleti e non testati integralmente.

Questo significa che software non funzionanti al 100 percento vengono utilizzati dai dipartimenti di polizia, dai governi e da aziende private. Questo è molto pericoloso.

Il tasso di errore dei sistemi di riconoscimento facciale a volte raggiunge il 92 percento, in altri casi scende sotto il 50 percento, e uno studio condotto da un’azienda americana affermava che il proprio sistema di riconoscimento facciale avesse “un tasso di accuratezza di più del 97 percento, benché questo risultato sia il frutto di un test condotto su un campione che per il 77 percento era composto da uomini e per l’83 percento di razza caucasica.”

Gli autori e creatori delle opere di narrativa che hanno ispirato queste tecnologie non sono responsabili del proprio lavoro creativo e della minaccia che questo rappresenta per la società. Tuttavia, i miliardari della tecnologia considerano la fantascienza come una guida, piuttosto che una semplice storia inventata e questo è il vero problema.

Se il mondo automatizzato funziona per le persone nel presente, le probabilità che un mondo fantascientifico funzioni davvero esistono solo se rimaniamo in quel tasso di accuratezza del 97 percento. Chi non è in quella percentuale (e, ve lo assicuro, molti di noi non lo sono) e non ha il potere e la disponibilità della tech elite, è diventato soggetto di un test involontario da parte di chi ha deciso di applicare la fantascienza alla nostra vita reale. Non abbiamo scelta, siamo parte di questo esperimento.

È arrivato il momento che laboratori, uffici, startup e aziende assumano scienziati sociali che li aiutino a capire che la loro visione del mondo potrebbe non combaciare con la realtà e che prodotti e servizi potrebbero dover subire delle variazioni prima di essere messi sul mercato. Questa situazione non farà altro che peggiorare, visto che sempre più tecnologie vengono introdotte senza controllo o supervisione.

Siamo sopraffatti dalla situazione, ci sono troppi stimoli e stiamo forzando il nostro adattamento più del dovuto, oltre le nostre possibilità. Come risultato, stiamo sviluppando ogni tipo di strategia possibile per tirare avanti, ma poche di queste funzionano con la semplicità dell’automazione che siamo abituati a vedere nei film di fantascienza.

Questo articolo è apparso originariamente su Motherboard US.