Waarom je Google's nieuwe AI-assistent niet 100% moet vertrouwen

In vrijwel alle visies op de toekomst, of die nou in films, sciencefiction of je fantasie zijn, zitten persoonlijke AI-assistenten die je leven grotendeels voor je stroomlijnen. Langzaamaan begint de werkelijkheid die toekomstvisie bij te benen, maar niet zo probleemloos als al die toekomstvisies voordoen. Er is namelijk een fundamenteel probleem aan het stroomlijnen van je leven met behulp van computers: je moet er een groot deel van je privacy en autonomie voor opgeven. Ik noem dit de behulpzaamheidsparadox.

Het komt hierop neer: hoe meer een AI-assistent van je weet, hoe beter deze je kan helpen – maar ook kan manipuleren.

Een veelzijdige AI-assistent komt eraan. We zitten als mensheid, zonder dat we het heel bewust doorhebben, middenin een nieuwe revolutie in computerland: de AI-revolutie. De afgelopen paar jaar is beeldherkenning door AI's vrijwel even goed geworden als mensen. De foutenmarge in spraakherkenning is ook spectaculair afgenomen. Microsoft publiceerde eerder deze maand een paper over hun conversational speech recognition – een algoritme voor spraakherkenning uit normale gesprekken – waarin ze een foutmarge van 6.3% rapporteren. Mensen zitten zo rond de 4%.

In en om je huis komen er steeds meer producten die aan de achterkant draaien op zelflerende AI-systemen; Tesla verbetert met behulp van de data die ze uit hun auto's verzamelen hun algoritme voor zelfrijdende auto's, Amazon Echo vertrouwt op spraakherkenning die gebaseerd is op zelflerende algoritmes, net als Siri, Cortana en Google Now. Je thermostaat leert weten wanneer je thuiskomt.

In de nabije toekomst horen hier ook alle apparaten bij die verbonden worden met het Internet of Things; een netwerk van 'slimme' apparaten die hun slimheid vooral te danken hebben aan verbondenheid met andere data – je 'slimme' koelkast is alleen nuttig als-ie kan communiceren met je boodschappenlijstje.

De belofte van AI-assistenten is aan de positieve kant groots. Door jouw gedrag en dat van miljoenen anderen te analyseren, leert een AI-systeem beter te anticiperen op wat je wil of gaat willen. Dat is niet alleen handig voor jezelf. Die info kan weer gedeeld worden, waardoor er bijvoorbeeld altijd precies genoeg melk aanwezig is in de supermarkt, waardoor we minder melk hoeven weg te gooien: betere wereld, industrie 4.0, et cetera. Chill!

Of niet?

Een AI-assistent op zich natuurlijk wel. Maar een AI-assistent in dienst van een gigantisch, door winst gedreven bedrijf dat alles van je weet, opslaat en gebruikt, misschien iets minder.

Het eerste minder chille is natuurlijk het feit dat je zeer persoonlijke data gestolen kan worden. Zoals we de afgelopen jaren hebben gezien is geen enkele database honderd procent veilig en wordt een database alleen maar aantrekkelijker voor hackers als er meer (persoonlijke) informatie in staat.

Het tweede, overtreffende niet-chille is het feit dat de bedrijven die de middelen en de data hebben om goede AI te bouwen, meestal de bedrijven zijn die hun geld verdienen met het interpreteren en verkopen van die data. Hoe meer ze weten, hoe effectiever advertenties ingezet kunnen worden om je aan te sporen om bijvoorbeeld melk te kopen.

Wie de aflevering "What makes you click" van Tegenlicht gezien heeft, weet dat online bedrijven er nu al constant op uit zijn om je manipuleren. Een bezoekje aan Booking.com betekent meedoen aan een enorm overtuigingexperiment, waarin elke pagina waar je komt doorlopend geoptimaliseerd wordt om je te verleiden via hen een overnachting te boeken. Hetzelfde geldt voor alle grote online marktplaatsen en ook voor advertentieplatforms als Google Search en Facebook.

Die experimenten – bijvoorbeeld of het beter werkt als er ergens 'nog twee kamers beschikbaar!' staat, of niet – worden nu nog door mensen bedacht en uitgevoerd, maar ook dat wordt ondertussen geautomatiseerd door zelflerende systemen. En in het geval van een AI-assistent zijn dat zelflerende systemen die worden aangepast aan jou – en alleen aan jou.

Een AI-assistent wordt met de tijd dus steeds beter in het weten wanneer je wat nodig hebt en in het vervullen van die wens. In dat opzicht zou het niet meer zijn dan een geavanceerde zoekmachine – inclusief het feit dat in zoekmachines de resultaten waarvoor betaald is bovenaan staan.

Dit belicht het fundamentele verschil tussen hoe wij een AI-assistent zien en hoe een AI-assistent in de praktijk werkt. Wij zien een assistent als een entiteit die in opdracht wensen uitvoert en het beste met je voorheeft. Een AI-assistent is eigenlijk het tegenovergestelde. De assistent, die voor Google, Apple, Microsoft, Amazon of Baidu werkt, heeft het beste voor met de winstgevendheid van die bedrijven. Jij bent de uitvoerder. Het is geen machine die voor jou werkt, het is een machine die werkt om de winst van de aanbieder te maximaliseren.

Nu denk je vast: een melkproducent die zijn waar aanprijst als ik melk nodig heb, is niet zo erg toch? Hier wegen de voordelen (niet vergeten melk te halen) toch op tegen de nadelen (een bepaalde melkproducent wil graag dat ik hun melk koop)?

Wederom, op zich wel. En wederom is daar weer een enorme keerzijde aan. Noem me paranoïde, maar de grote belofte van AI-systemen is dat ze gigantisch gecompliceerde processen kunnen begrijpen en optimaliseren. En hoe meer systemen data met elkaar delen, hoe beter dit gaat.

Even een commercieel gedachte-experiment: alle persoonlijke data ter wereld kan via een gigantische marktplaats gedeeld worden, vergelijkbaar met hoe Facebook Exchange dat nu al doet, maar dan met input van AI-assistenten erbij.

Er is een partij, laten we zeggen de melkproducenten van Nederland, die meer van hun product willen verkopen en daar veel geld voor over hebben. In een perfect systeem zou er aan de hand van slimme koelkasten makkelijk uitgezocht kunnen worden welke mensen weleens melk kopen. Die mensen kunnen via hun sociale media getarget worden met artikelen over de gezonde eigenschappen van melk. De persoonlijke AI-assistent van die mensen raadt iets vaker recepten aan met melk erin en melk wordt dus vaker op het automatische boodschappenlijstje gezet, zonder dat er expliciet reclame gemaakt wordt voor melk. Mensen kopen meer melk. Melkindustrie blij.

Zo'n scenario kan onmogelijk georkestreerd worden door mensen. Mensen zijn sloom en beperkt en er zouden simpelweg te veel partijen moeten samenwerken. Zoiets kan alleen worden afgestemd door machines, machines die in dienst van internetgiganten elk radertje keer op keer optimaliseren om de meeste melk – of wat dan ook – te verkopen.

Zo komen weer terug bij de behulpzaamheidsparadox. Als een systeem meer informatie over je heeft, kan dit systeem je beter helpen. Maar tegelijkertijd kan dat 'helpen' niet altijd objectief het beste helpen zijn. Vooral niet in een wereld waarin de enige bedrijven die AI op grote schaal kunnen toepassen, de grote bedrijven zijn die vooral (helpen met) dingen verkopen. Dat is wereld waar we met al onze AI-gedreven assistenten op af denderen.

En het allerengste hieraan: we willen dit. We zijn door verhalen en ons beeld van luxe geconditioneerd om dit te willen. En als de werkelijkheid enige indicatie is van hoe dingen in de toekomst zullen lopen, gaan we dit soort systemen massaal gebruiken. Het is de ultieme droom van technologie als naadloos hulpmiddel in je leven en voor de industrie als geheel – met een kleine, nachtmerrieachtige onderlaag van systematische beïnvloeding door AI.

We hebben helemaal geen Terminator nodig om de mensheid te onderwerpen aan AI. Onze gemakzucht is eigenlijk alles wat nodig is.