Het is een kwestie van tijd (en geld) voordat ook computers gaan factchecken

De Tweede Kamerverkiezingen komen er weer aan, en daarmee de factcheckers. Menselijke factcheckers, vooralsnog. Want het duurt niet lang meer voordat we factchecken grotendeels kunnen automatiseren: voor computers is het nu al mogelijk om verschillende soorten dubieuze claims te herkennen, en ze aan de hand van databases te toetsen op betrouwbaarheid.

In maart 2016 vond de allereerste conferentie over geautomatiseerd factchecken plaats, en in augustus stelde de Britse factcheck-organisatie Full Fact in een overzichtsrapport dat het haalbaar moest zijn om binnen een jaar een systeem te ontwikkelen dat een gesproken of geschreven uitspraak volledig automatisch kan factchecken. Dat was vooral een kwestie van geld en met een bedrag van vijftigduizend euro is Full Fact inmiddels al aardig op weg, dankzij het innovatie-potje van Google.

Dit roept twee vragen op. Kan dit echt? En misschien nog belangrijker: moeten we dit soort taken überhaupt wel willen uitbesteden aan computers? Het gaat om iets precairs, namelijk bepalen welke informatie betrouwbaar is en welke niet. Daar komt nogal wat verantwoordelijkheid bij kijken.

Wat haalbaarheid betreft, is het belangrijk om te benadrukken dat het Full Fact er niet om gaat om álle mogelijke beweringen te kunnen factchecken. Niet alleen omdat sommige claims simpelweg nog niet te detecteren zijn – denk aan parafraseringen, of één claim die verpakt zit in meerdere zinnen of in een metafoor – maar ook omdat lang niet iedere vorm van data beschikbaar is om die claims mee te beoordelen. Wel zijn er bijvoorbeeld veel statistische gegevens, en dat is dan ook waar Full Fact zich voorlopig vooral op richt.

Later meer over de haalbaarheid van geautomatiseerd factchecken – eerst de wenselijkheid. Willen we wel dan een computer bepaalt welke feiten "checkwaardig" zijn en welke niet? Daarover sprak ik met Mevan Babakar, de coauteur van het Full Fact-rapport, en Alexios Mantzarlis, directeur van het International Fact-Checking Network.

Potentie

Beiden benadrukken dat, ook wanneer de factcheck volledig geautomatiseerd tot stand is gekomen, er altijd vóór publicatie nog een mens naar moet kijken. "Het blijven redactionele afwegingen, en daar zijn mensen nog altijd beter in," zegt Mantzarlis. Babakar wijst bovendien op de veranderlijke aard van taal. "Er verschijnen constant nieuwe begrippen, die kunnen computers niet meteen goed interpreteren."

Er zijn meerdere voordelen van geautomatiseerd factchecken. De eerste ligt voor de hand: het scheelt werk. Het is sneller en goedkoper, want er is minder mankracht voor nodig. "Leugens verspreiden zich sneller over het web dan de correcties ervan," zegt Mantzarlis. "Dat blijkt ook uit onderzoek. Daarom is het heel belangrijk dat correcties ook sneller worden."

Tussen het moment dat een leugen de wereld in wordt geholpen en de bijbehorende factcheck kan een flinke tijdskloof ontstaan: een leugen moet worden opgemerkt, dan worden ontkracht, en dan ook nog zijn weg vinden naar het publiek. Een hoax loopt niet achter de feiten aan – het is precies andersom.

Zo gezien is het niet heel gek dat factchecken weleens het verwijt krijgt weinig impact te hebben. Maar in plaats van het daarom af te serveren, zou je wat dat betreft ook kunnen proberen deze kloof te verkleinen, meent Mantzarlis.

Wanneer een factchecker de relatief eenvoudige opdrachten kan uitbesteden, voegt Babakar toe, heeft hij meer ruimte om zich met belangrijkere zaken bezig te houden. "Nagaan of de criminaliteit is gestegen is vrij simpel. Als computers dat soort taken op zich nemen, komen mensen eerder toe aan het complexere werk – zoals onderzoeken waarom de criminaliteit is gestegen."

Een ander voordeel van een geautomatiseerde benadering is dat het werk scheelt: je zou een database kunnen opbouwen van eerder gecheckte beweringen. "Er belanden veel leugens in de wereld die al eerder de ronde hebben gedaan," zegt Mantzarlis. "Als je opslaat welke dat zijn, kom je er sneller achter als zo'n leugen opnieuw opduikt."

Zo'n database kan van pas komen bij uitgesproken of gesproken leugens, maar ook bij gephotoshopte plaatjes. Mantzarlis geeft als voorbeeld deze afbeelding van Donald Trump, waarop te zien is hoe hij in 1998 zou hebben gezegd dat Republikeinen dom zijn, en dat hij daarvan gebruik zou maken als hij ooit een gooi zou doen naar het presidentschap.

Geautomatiseerd factchecken kan technologische grenzen verleggen, noemt Babakar tenslotte, juist omdat lang niet alle vereiste technieken al volledig ontwikkeld zijn. "Het geeft databeheerders bovendien een reden om hun data beter beschikbaar te stellen. Daar mogen ze best wat beter in gepusht worden. Er is zat data beschikbaar, en daar zouden we veel meer gebruik van kunnen maken."

Kritiek

Tegelijkertijd zijn er genoeg kritiekpunten die weleens richting factchecken worden geuit – en daarmee ook richting geautomatiseerd factchecken. Mensen geloven over het algemeen graag wat past binnen hun eigen overtuiging: de confirmation bias. Dus waarom nog factchecken? Er zou zelfs een averechts effect kunnen optreden, stelden Amerikaanse wetenschappers vast in 2010: het backfire-effect.

Diezelfde wetenschappers zagen zich eind 2016 genoodzaakt om hun bevindingen wat bij te stellen. Uit een recent onderzoek kwam naar voren tegen dit effect lang niet altijd het geval is: mensen kunnen wel degelijk vatbaar zijn voor betrouwbare informatie, zelfs wanneer deze niet strookt met hun beeldvorming. Dit laatste onderzoek haalt ook Mantzarlis aan wanneer ik hem het punt van de confirmation bias voorleg. Hoewel dit fenomeen wel degelijk voorkomt, hoeft het niet zo te zijn dat factchecken gedoemd is te mislukken.

Wat ook geregeld over factcheckers wordt gezegd, is dat ze pretenderen de waarheid in pacht te hebben – ze vellen een oordeel over wat waar is en wat niet. Een krantenrubriek als Next Checkt werkt bijvoorbeeld met eindoordelen als 'waar,' 'niet waar' of iets ertussenin, wat een exacte rekenmethode suggereert. En die bestaat natuurlijk niet.

Hoewel factcheckers kunnen zeggen dat zij ook maar interpretaties van de werkelijkheid maken, en deze dus niet zelf vaststellen, impliceert zo'n beoordelingssysteem dat wel. Niet voor niets nam de Volkskrant recent nog afscheid van het metertje in haar factcheck-rubriek, ten gunste van een samenvattende zin. Een collega pleitte er eerder voor dat factcheckers dan ook vooral moeten nagaan hoe (leugenachtige) uitspraken tot stand zijn gekomen en hoe betrouwbaar de bronnen zijn, zonder daarmee te willen zeggen of iets waar is of niet.

Om die reden werkt ook Full Fact niet met metertjes, zegt Babakar. "Je zult dan altijd discussies blijven houden over het verschil tussen bijvoorbeeld 'waar' en 'grotendeels waar.' Maar die discussie is helemaal niet interessant – het gaat er veel meer om waarom iets niet waar is. Je krijgt heus niet meer inzicht in een kwestie als er zo'n label op geplakt zit."

De haalbaarheid

Tegelijkertijd liggen er nog genoeg uitdagingen. Computers kunnen nog lang niet elke uitspraak herkennen. Hapklare zinnen interpreteren is één ding, maar een computer laten snappen wanneer een dubieuze bewering niet zozeer letterlijk, maar vooral tussen de regels door wordt uitgesproken, is een ander verhaal.

Bij Full Fact wordt momenteel gewerkt aan twee geautomatiseerde tools, die vooralsnog alleen voor journalisten bedoeld zijn: Full Fact Trends en Full Fact Live. Full Fact Trends moet in april worden gelanceerd, en is een (vooralsnog alleen Engelstalige) applicatie die op een soortgelijke manier werkt als Google Trends – het laat zien welke claims worden verspreid en wie daar achter zitten. Full Fact Live is het volledige factcheck-systeem, en als alles volgens plan verloopt moet deze eind december 2017 beschikbaar zijn. Deze tool werkt door middel van Natural Language Processing en heeft twee functies: het koppelen van claims aan bestaande factchecks en het koppelen van claims aan relevante informatie – databases met gestructureerde data. Op basis daarvan kan een journalist vervolgens de uitspraak interpreteren.

Dit alles is al mogelijk met de subsidie die Full Fact tot dusver van onder andere Google ontving. Voordat het geschikt is voor het grote publiek, moet het budget nog zeker verdriedubbelen, zegt Babakar. En ook wát de tool precies kan checken hangt daarvan af. "We richten ons vooralsnog op het laaghangende fruit – claims die al gecheckt zijn, of die je relatief eenvoudig kunt herkennen en verwerken. Beweringen die uit één zin bestaan, en te staven zijn aan de hand van statistische gegevens. Om ook het complexere werk te kunnen tackelen is meer onderzoek nodig, en dus geld."

"De claims die steeds herhaald worden zijn meestal ook belangrijker dan een complexe claim die één keer de revue passeert, dus ook daarom ligt onze focus daar wat minder," gaat ze verder. "Maar we moedigen wel universiteiten en masterstudenten aan om zich met de wat ingewikkeldere zinsconstructies bezig te houden. We organiseren ook hackathons, waarvoor we specialisten uitnodigen op het gebied van enterprise search."

Full Fact is bij lange na niet de enige die zich bezighoudt met geautomatiseerd factchecken. Een ander project is Factmata, dat een applicatie ontwikkelt die eveneens subsidie ontving van Google. Ook Factmata richt zich vooral op statistische gegevens – aan de hand van Natural Language Processing zoekt het naar zinnen met een eenheid (een land of persoon, bijvoorbeeld), een statistisch kenmerk voor die eenheid (zoals bevolkingsaantallen of werkloosheidscijfers) en de numerieke waarde voor dat kenmerk. Vervolgens spiegelt het deze claims aan gegevens van bijvoorbeeld de Organisatie voor Economische Samenwerking en Ontwikkeling (OESO) of de Wereldbank.

Claimbuster is een tool die zich richt op een specifieke stap binnen het factcheck-proces: het zoekt naar 'checkwaardige' uitspraken in een gesproken of geschreven tekst, en laat het daadwerkelijke factchecken vervolgens over aan mensen. De uitspraken moeten hierbij feitelijk én relevant zijn. 'De tafel is wit' is bijvoorbeeld wel een feitelijke uitspraak, maar geen relevante, terwijl 'De werkloosheid is sinds afgelopen jaar met zoveel procent gedaald' dat wel kan zijn.

Op basis van machine learning geeft Claimbuster een score van checkwaardigheid op een schaal van 0 tot 1, waarbij de tekst per zin in het blauw geannoteerd wordt – hoe donkerder hoe relevanter. Dit werd bijvoorbeeld al gebruikt voor debatten tijdens de Amerikaanse presidentsverkiezingen:

In Nederland speelt momenteel weinig op het gebied van geautomatiseerd factchecken. Voor een groot deel is dit verschil eenvoudig te verklaren: het Engelse taalgebied is veel groter dan het Nederlandse, wat factchecken hier niet heel rendabel maakt. Daarnaast heerst er in de Verenigde Staten een sterke juridische claimcultuur, waardoor checks op de eigen productie extra verstandig zijn om een juridische strijd en schadevergoedingen te voorkomen.

De ontwikkeling zal dus grotendeels van buitenaf komen, en de ambities liggen hoog. "Stel je voor", zegt Babakar, "dat tijdens een persconferentie iemand zo'n tool op zijn telefoon heeft, en de informatie paraat heeft waarmee hij direct kan bewijzen dat er onzin wordt verkondigd. Dat is waar ik naartoe wil."

Dit stuk is een bewerkte versie van enkele publicaties die begin februari verschijnen op Nieuwe Journalistiek, in een dossier over factchecken. Nieuwe Journalistiek is een initiatief van het Fonds Bijzondere Journalistieke Projecten.