Ik brak binnen bij een bank met een AI-gegenereerde stem

Woensdag belde ik de automatische telefoondienst van mijn bank op. Om te beginnen vroeg de bank me om in mijn eigen woorden te zeggen waarom ik belde. In plaats van dat ik hardop woorden uitsprak, klikte ik een bestand aan op mijn laptop die ik dichtbij had staan om een geluidsclip af te spelen: “ik wil mijn saldo checken,” zei mijn stem. Maar het was niet echt mijn stem. Het was een synthetische kloon die ik had gemaakt met behulp van gemakkelijk verkrijgbare AI-technologie.

“Okay,” antwoordde de bank. Vervolgens vroeg hij me om mijn geboortedatum in te voeren of te zeggen, als eerste onderdeel van de authenticatie. Toen ik dat had ingetypt, zei de bank: “zeg alstublieft ‘mijn stem is mijn wachtwoord’.”

Ik speelde nogmaals een geluidsbestand op mijn computer af. “Mijn stem is mijn wachtwoord,” zei de stem. Het beveiligingssysteem van de bank was een paar seconden bezig met het authenticeren van de stem. 

“Dankuwel,” zei de bank. Ik was binnen. 

Ik kon het niet geloven – het werkte. Ik had een door AI aangedreven replica van een stem gebruikt om bij een bankrekening in te breken. Daarna had ik toegang tot de accountinformatie, waaronder saldo’s en een lijst van recente transacties en overboekingen.

Banken in de VS en Europa gebruiken dergelijke stemverificatie om hun klanten over de telefoon te laten inloggen. Sommige banken prijzen stemidentificatie aan als equivalent aan een vingerafdruk, een veilige en makkelijke manier voor gebruikers om zaken te doen met de bank. Maar dit experiment vermorzelt het idee dat, in een wereld waar iedereen nu voor weinig of geen geld synthetische stemmen kan genereren, stemgedreven biometrische beveiliging onfeilbare bescherming kan bieden. Ik gebruikte een gratis service om stemmen te creëren van ElevenLabs, een AI-stembedrijf.

Misbruik van AI-stemmen kan nu ook voor fraude en hacking gebruikt worden. Sommige experts waar ik na dit experiment mee sprak willen nu dat banken stemverificatie integraal opdoeken, hoewel misbruik in de echte wereld op dit moment nog maar weinig zou voorkomen.

Rachel Tobac, CEO van SocialProof Security, een firma die zich bezighoudt met social engineering, vertelt Motherboard: “Ik raad alle organisaties die stemgedreven ‘authenticatie’ gebruiken aan om zo snel mogelijk over te stappen op een veilige manier van identiteitsverificatie, zoals multi-factor authenticatie.” Dit soort stemreplicatie kan worden “voltooid zonder dat er ooit daadwerkelijke interactie met de persoon nodig is.”

Een hoop banken in de VS bieden soortgelijke stemverificatie-diensten aan. TD Bank heeft er een genaamd “VoicePrint,” en op hun website staat “Jouw stemafdruk is uniek aan jou, net als je vingerafdruk – niemand anders heeft een stem zoals jij.” Chase heeft “Voice ID”, dat, net zoals Lloyds Bank, beweert dat de stemafdruk van een klant “wordt gecreëerd uit meer dan 100 verschillende fysieke en gedragseigenschappen.” De “Voice Verification” van Wells Fargo “beschermt je identiteit op effectieve wijze,” aldus de website van de bank. 

Hoewel ik de test alleen bij Lloyds Bank heb uitgevoerd is het waarschijnlijk dat deze andere systemen, met hun soortgelijke aard en werkwijze, ook het risico lopen om door AI-aangedreven stemmen belazerd te worden. Veel banken laten hun klanten een hele hoop bankgerelateerde zaken via de telefoon af te handelen, zoals het checken van een transactiegeschiedenis of accountsaldo’s, en soms ook geld overboeken.

Voor deze specifieke aanpak zou een fraudeur ook de geboortedatum van zijn doelwit nodig hebben. Maar dankzij een overvloed aan datalekken, bemiddelaars en mensen die online persoonlijke informatie delen is een geboortedatum vaak makkelijk te achterhalen.

Een woordvoerder van Lloyds Bank zei in een statement: “Voice ID is een optionele beveiligingsmaatregel, maar we zijn ervan overtuigd dat het meer beveiliging biedt dan traditionele, op kennis gebaseerde authenticatiemethodes, en dat onze gelaagde aanpak van beveiliging en fraudepreventie het juiste niveau van bescherming voor de rekeningen van onze klanten zal blijven bieden, terwijl ze nog steeds makkelijk te bereiken zijn indien nodig.”

Lloyds Bank zegt zich bewust te zijn van de dreiging van synthetische stemmen en dat ze tegenmaatregelen doorvoeren, maar dat ze nog geen geval hebben gehad waarbij zo’n stem werd gebruikt om fraude te plegen bij een van hun klanten. Synthetische stemmen zijn voor fraudeurs minder aantrekkelijk dan andere, meer gebruikelijke methodes, en volgens Lloyds Bank heeft Voice Id tot een significante daling in fraude via telefoonbankieren geleid. 

Aangezien fraude met synthetische stemmen op dit moment erg zeldzaam is, komt het voor klanten waarschijnlijk goed uit om het te gebruiken als het ze van andere soorten fraude, zoals phishing, kan beschermen. Dit gaat echter niet meer op als de klant een publiek figuur is, die veel stemopnames van hoge kwaliteit makkelijk verkrijgbaar op het internet heeft staan. 

TD Bank, Chase en Wells Fargo reageerden niet op verzoeken om commentaar over of ze zich er bewust van zijn dat AI-aangedreven stemmen worden gebruikt om de rekeningen van klanten binnen te dringen, en of ze enige maatregelen nemen om dit gevaar tegen te gaan. In september klaagden advocaten een groep Amerikaanse financiële instituties aan omdat biometrische stemafdrukken die worden gebruikt om bellers te identificeren de California Invasion of Privacy Act schenden. 

Nadat ik de videodemonstratie had opgestuurd zei het Consumer Financial Protection Bureau, een van de Amerikaanse instanties die de financiële industrie reguleert, me in een statement: “Het CFPB houdt zich bezig met databeveiliging, en bedrijven zijn ervan op de hoogte dat ze verantwoordelijk zullen worden gehouden voor slordig werk. We verwachten dat elke firma zich aan de wet houdt, ongeacht de technologie die ze gebruiken.”

Ik heb de laatste paar weken een aantal AI-stem genereerdiensten getest. De meesten hadden problemen of moeite met het recreëren van mijn Britse accent, dat nodig zou zijn om bij de Lloyds Bank-rekening binnen te komen. Uiteindelijk gebruikte ik ElevenLabs, dat goed met het accent kon omgaan. 

Om de stem te maken nam ik ongeveer vijf minuten aan spraak op en uploadde ik dat naar ElevenLabs (voor de audioclips las ik stukken van de Europese wet omtrent databeveiliging). Even later was de stem klaar voor gebruik; elke tekst die op de site van ElevenLabs werd ingevoerd kon worden opgelezen.

Het experiment om bij de bankrekening binnen te komen mislukte meerdere keren; het systeem van Lloyds Bank zei dat het de stem niet kon authenticeren. Na er op ElevenLabs een beetje aan te sleutelen door bijvoorbeeld een langer stuk tekst voor te lezen om de cadans natuurlijker te laten klinken, lukte het de gegenereerde audio om voorbij de beveiliging van de bank te komen. 

Op de website van ElevenLabs staat dat de gegenereerde stemmen kunnen worden gebruikt voor dingen als nieuwsbrieven, boeken en video’s. Maar de minimale beperkingen die bij de lancering op ElevenLabs’ technologie stonden werden al snel misbruikt. Leden van 4chan gebruikten ElevenLabs om synthetische versies van beroemdheden te maken die racistische en transfobische dingen verkondigen, zoals een nep-Emma Watson die Mein Kampf voorleest. Later maakten internettrolls met de AI-stemgeneratoren replica’s van bepaalde stemacteurs, en lieten die de thuisadressen van diezelfde acteurs voorlezen in Twitterposts (de daders beweerden dat de technologie van ElevenLabs bij de dox werd gebruikt, maar ElevenLabs zelf beweerde dat alleen één andere clip, waarin geen adressen van de doelwitten vermeld werden, met hun technologie was gemaakt.) 

Na het debacle met de clips van beroemdheden postte ElevenLabs een tweet waarin ze vroegen welke veiligheidsmaatregelen ze moesten doorvoeren, zoals gebruikers om volledige ID-identificatie vragen of om betaalinformatie een vereiste te maken. Motherboard kon de stem echter genereren zonder ID of betaalinformatie te moeten verschaffen, misschien omdat de account was gemaakt voordat ElevenLabs nieuwe beveiligingsmaatregelen introduceerde. Het kostte niks om de stem te maken die voorbij de bankbeveiliging wist te komen. 

ElevenLabs reageerde niet op meerdere verzoeken om commentaar. In een eerder statement zei Mati Staniszewski, een voormalig deployment strategist bij Palantir en nu mede-oprichter van ElevenLabs, “Onze nieuwe veiligheidsmaatregelen verminderen de gevallen van misbruik nu al aanzienlijk, en we zijn dankbaar voor onze gebruikersgemeenschap voor het constant aangeven van voorbeelden waar extra acties ondernomen moeten worden. We zullen de autoriteiten ondersteunen bij het identificeren van gebruikers als de wet verbroken wordt.”

Dit artikel verscheen oorspronkelijk op Motherboard.

Volg VICE België en VICE Nederland ook op Instagram.