Deze klaagrobot is een middelvinger naar de digitalisering van de overheid

Stel, je auto wordt gestolen. Dat is op zijn minst heel vervelend, maar het wordt pas echt zuur als je daarna nog twintig jaar lang tienduizenden euro’s aan boetes, wegenbelasting en niet verzekerde apk-keuringen moet betalen. Je komt in de schulden, de politie trapt je schutting kapot omdat ze geld willen zien en je krijgt fibromyalgie, een aandoening waarbij je spieren constant gespannen zijn door de stress. Dit allemaal overkwam een vrouw uit Rotterdam, nadat het automatische systeem van de politie haar auto niet als gestolen had geregistreerd.

Dit is slechts één voorbeeld van hoe de toenemende automatisering van de overheid lijkt te falen. Beslissingen worden gemaakt door algoritmes in computers, in plaats van door mensen. Zo ontstaat er een groot, grijs gebied waarin er wordt beoordeeld op cijfers van wijken en buurten binnen regio’s en individuele personen over het hoofd worden gezien. Medialab SETUP wil meer aandacht voor dit probleem en ontwikkelde daarom de klagende robot Paaltje als reactie op de automatisering van de overheid. Met deze robot kunnen burgers met één druk op de knop een bezwaar indienen bij een gemeentelijke beslissing en wordt het klagen – net als bij het beoordelen van burgers – geautomatiseerd.

Paaltje is een kleine totempaal met een rode knop en een vrouwenstem. Paaltje haalt informatie uit de database van de gemeente en pikt daar gebeurtenissen uit op – zoals bijvoorbeeld overschrijding van de luchtkwaliteitsnormen of het aanvragen van vergunningen. Na het oppikken van die zaken kan de robot daar bezwaar tegen indienen. Het enige wat je hoeft te doen is even op grote rode knop drukken.

SETUP is gespecialiseerd in digitalisering en onderzocht algoritmes binnen datasystemen*. Het bedrijf vindt het zorgwekkend dat burgers geen flauw idee hebben over hoe zij bekendstaan in de datalijsten van hun gemeente. Misschien word jij namelijk wel als risicoburger beschouwd en in de gaten gehouden, zonder dat je dat weet.

Ik sprak met cultuursocioloog Siri Beerends en projectbegeleider Sieta van Horck van SETUP over het probleem van de toenemende digitalisering, hoe Paaltje werkt en waarom deze robot zo hard nodig is.

In Utrecht is een eerste test geweest met actiegroep Binnenstad 030 waarbij meerdere Paaltjes betrokken waren. “Deze robot geeft aan hoe belachelijk gemeenten zelf te werk gaan,” vertelt Siri. “Met Paaltje geeft de burger ze een koekje van eigen deeg. Een voorbeeld: je woont boven een kroeg die zojuist een vergunning van de gemeente heeft gekregen om tot later in de nacht open te blijven. Ieder Paaltje in de omgeving pikt deze vergunningaanvraag op een deelt hem dan met haar eigenaar.”

Haar rode knop gaat schijnen en zodra je erop drukt, vertelt ze jou wat er aan de hand is. Als jij het niet met die aanvraag eens bent en wilt dat de kroeg gewoon om één uur dicht blijft gaan, kun je nog een keer op de knop drukken. Dit betekent dat je bezwaar wilt indienen. De software in Paaltje stuurt dan direct een volledig ingevuld klachtenformulier naar je e-mailadres. Je hoeft dus alleen nog even je handtekening te zetten en voilà; je klacht gaat naar de gemeente. “Je moet het zo zien: een individuele klacht kan nu worden beoordeeld door heel de buurt, want die rode knop gaat schijnen bij iedereen die een Paaltje heeft,” zegt Siri. “Dit is precies hoe SyRi – het Systeem Risico Indicatie, dat gebruik maakt van algoritmes – handelt. Ze scharen een hele omgeving onder een specifiek voorval, waar andere burgers soms helemaal niets mee te maken hebben.”

“Jij en ik staan als nummertje in een datasysteem met enkel wat feitelijke informatie, zoals onze onderwijsgegevens, adresgegevens, arbeidsgegevens, zorgverzekeringsgegevens, en ga zo nog maar even door,” vertelt Sieta. “Op basis van die informatie beslist software of jij bijvoorbeeld boetes ontvangt, een crimineel bent, of je in staat bent om voor je kinderen te zorgen.”

Laat me even wat beter uitleggen hoe dit algoritme werkt aan de hand van een voorbeeld. Stel, in de straat achter je zijn het afgelopen jaar vier autoruiten ingeslagen. Dat komt in het datasysteem van de politie. Jij hebt daarentegen nog nooit een steen door een ruit gegooid. Dit weet het systeem dan weer niet. Het kan dus zomaar zijn dat er er meer wijkagenten door de buurt lopen en jou onterecht in de gaten gaan houden.

Misschien niet direct heel ingrijpend, maar wel raar. Het wordt wél ingrijpend als jij door misstanden in jouw wijk niet meer voor je kinderen mag zorgen. “In Amerika gaat het al zo ver dat kinderen uit huis worden geplaatst op basis van risicomeldingen die door algoritmes zijn gedaan,” vertelt Siri*. “Als jij niet aan een bepaalde inkomenseis voldoet of volgens het systeem een overtreding hebt begaan, beoordeelt het algoritme jou als risicoburger. Dus als er iets verdachts in die software staat, heb je de kans dat de kinderbescherming op je afkomt. Dat klinkt misschien nog onrealistisch in Nederland, maar die kant moeten we ook niet op gaan,” zegt Siri.

“Omdat dit soort beslissingen door computers worden gemaakt, wordt er totaal niet gekeken naar de echte leefsituatie van burgers,” legt Siri uit. “Je kan er dus onterecht uitrollen als ‘risicoburger’. Steeds meer gemeenten maken gebruik van SyRI. In Dordrecht bepaalt een algoritme binnen dit systeem bijvoorbeeld welke spijbelaars op school een leerplichtambtenaar op bezoek krijgen en welke niet. De algoritmes binnen dat systeem, zijn blind voor context.”

“Wij als burgers hebben geen inzicht in het systeem, dus weten we niet hoe we geregistreerd staan. Je weet het pas nadat er bij je wordt ingegrepen, zoals bij de vrouw met de gestolen auto,” zegt Sieta. “De politie vond de auto vrij snel na de diefstal terug, maar dat werd niet aangepast in het systeem.” Hierdoor kreeg ze haar auto niet terug, maar moest ze er wel jarenlang de torenhoge kosten voor betalen.

Paaltje komt niet uit het niets. In augustus werd er door de Raad van State een adviesrapport ingediend bij het ministerie van Binnenlandse Zaken. Volgens de Raad moet inzichtelijk worden welke beslisregels het algoritme toepast en waar de gebruikte gegevens vandaan komen. Maar tot dusver is die transparantie er nog niet gekomen. “Er gaan te veel dingen mis,” zegt Siri. “Laatst was er een man die al jaren met een ongeldig rijbewijs bleek te rijden, omdat dat document gemaakt is toen hij nog een vrouw was. Als je niet in dat systeem kan, hoe kan je het dan weten?”

Het is niet ondenkbaar dat Paaltje in de nabije toekomst bij je op de keukentafel staat, maar volgens Siri is dit geen langetermijnoplossing. “Dit is uiteindelijk niet de manier waarop wij met de lokale overheid willen communiceren. We willen aantonen dat de manier waarop burgers beoordeeld worden, niet oké is,” zegt Siri. “Er wordt gedaan alsof de werkelijkheid door middel van genoeg data beschreven kan worden zoals-ie echt is, maar dat werkt vaak voor geen meter. Dit is een soort middelvinger naar de digitalisering van de overheid. Natuurlijk wel met een hoger doel, namelijk dat er naar individuen wordt gekeken en niet zo zwart-wit naar een omgeving.”

*Noot van de redactie: in een eerdere versie van dit artikel stond dat alleen algoritmes van de gemeente Utrecht werden onderzocht. Maar in werkelijk zijn overheidsalgoritmes in heel Nederland onderzocht.

In een eerder versie van dit artikel kon de bewering dat er Amerikaanse kinderen als gevolg van een algoritme uit huis zijn geplaatst niet worden nagetrokken. Het boek 'Automating Inequality' van de Amerikaanse politiek wetenschapper Virginia Eubanks is hier de bron van.

Volg Motherboard op Facebook, Twitter en Flipboard.