De Europese Commissie overweegt een verbod op gezichtsherkenning

Twee weken geleden schreef Motherboard dat verschillende steden in de VS, waaronder San Francisco, gezichtsherkenning in publieke ruimtes door de overheid gaan verbieden.

Nu blijkt dat de Europese Commissie – de instantie die wetten voorstelt waarover het Europees Parlement later stemt – ook overweegt om gezichtsherkenning geheel of deels te verbieden. Vooralsnog lijkt alleen de Wall Street Journal, een Amerikaanse krant, over de ontwikkeling te hebben bericht, en dat terwijl de implicaties voor Europa groot kunnen zijn.

Wat is er gebeurd?

De Europese Commissie heeft vorig jaar een groep van 52 experts, waaronder academici, maatschappelijke organisaties en bedrijven zoals Nokia, IBM, Google en softwarebedrijf SAP SE, de opdracht gegeven om een onderzoek op te zetten naar een veilige toepassing van kunstmatige intelligentie in de EU.

Europa loopt op het gebied van AI achter op China en de VS, en daarom vindt de commissie het belangrijk dat lidstaten er de komende jaren flink in investeren. Maar wel op een manier die wenselijk is, “want er schuilen gevaren in het gebruik van AI.” In april publiceerde het panel een rapport over de ethische ontwikkeling van AI in Europa.

Op 26 juni publiceerden ze een tweede rapport met 33 beleidsadviezen die ervoor moeten zorgen dat AI-systemen in Europa “”de mens centraal” stelt en “fundamentele rechten respecteert.”

Een van de belangrijkste adviezen met dat effect gaat over de toepassing van gezichtsherkenning door overheden. “Ook al kan de verleiding sterk zijn de samenleving veilig te houden met indringende surveillance,” stelt het rapport op pagina 11, “zouden individuen niet onderworpen mogen worden aan ongerechtvaardigde fysieke of mentale tracking of identificering via AI-aangestuurde biometrische systemen zoals gezichtsherkenning of herkenning van micro-expressies.”

Een AI-systeem zou bovendien “nooit zonder menselijke interventie en toezicht” mogen opereren, en de inzet ervan moet altijd op voorhand “evidence based” zijn (aan deze twee voorwaarden wordt vrijwel nooit aan voldaan, blijkt uit dit rapport).

Voor mensen die denken dat dit soort systemen in Europa nog ver weg zijn: Huawei helpt verschillende landen in de EU, waaronder Malta en Servië, een gezichtsherkenningssysteem naar Chinees model op te tuigen. De zogenoemde ‘Phase 1’ van dit systeem kan groepen mensen – bijvoorbeeld rondom een voetbalstadion – in real-time volgen. Dit zijn precies het soort systemen waarover het panel expliciet zegt dat er een preventief verbod voor zou moeten gelden.

Servië voelt misschien nog ver weg, maar we kunnen er niet van uitgaan dat dergelijke massa-surveillance in Nederland onmogelijk is. Twee weken geleden onthulde Motherboard dat het gezichtsherkenningssysteem van de Nederlandse politie een stuk verder is ontwikkeld dan tot nu toe werd gedacht. 1.3 miljoen mensen met een strafmaat van 4 jaar bevinden zich in de database. Dat is zo’n groot aantal, dat er inmiddels Kamervragen zijn gesteld.

Motherboard ontdekte ook dat er al lokale proeven zijn gedaan in Nederland met real-time gezichtsherkenning. ‘Real-time’ is hierbij een belangrijk woord: dat betekent dat camera’s met behulp van een algoritme automatisch een match proberen te maken met de database.

Nu moeten agenten in Nederland nog zelf een foto in de herkenningssoftware ‘CATCH’ laden om een match te maken, maar John Riemen, manager van het Centrum voor Biometrie van de Landelijke Politie, heeft gezegd dat hij real-time gezichtsherkenningssystemen “niet uitsluit” want “als een terrorist na een aanslag ontkomt, wil je hem zo snel mogelijk vinden.” Het obstakel lijkt vooral te zijn dat het technologisch nog niet werkt.

Het is de vraag hoe het nu verder gaat. De Europese Commissie zei op 26 juni dat het de adviezen in overweging gaat nemen en volgend jaar al met wetsvoorstellen zal kunnen komen. Het is nog te vroeg om te zeggen of ze het advies van de rapporteurs zullen volgen of niet. Mariya Gabriel, Eurocommissaris voor Digitale Economie en Maatschappij, heeft gezegd dat “fundamentele rechten en de menselijke maat belangrijk zijn,” maar heeft inhoudelijk nog nog niet uitgebreid op het rapport gereageerd. Op e-mails van Motherboard is tot nu toe niet geantwoord.

Aangezien we het hier hebben over Europese besluitvorming, zal dit het startschot zijn van een lang proces. Maar laat dit niet afleiden van het feit dat de beslissingen die in de komende maanden (en jaren) gemaakt worden, het straatbeeld en het publieke leven in Europese steden fundamenteel kunnen veranderen.