De onbekende, onderbetaalde werkers die academisch onderzoek mogelijk maken

Veel van de minst-betaalde arbeiders van Amazon werken niet in pakhuizen maar online. Het zijn de arbeiders van Mechanical Turk (MTurk), Amazon's marktplaats waar bedrijven individuen – bekend als Turkers – een paar cent kunnen betalen om micro-taken, ofwel Human Intelligence Tasks (HITs) uit te voeren. De taken lopen sterk uiteen, van transcriptie tot schrijven, redacteren, of contentmoderatie.

Maar Turkers helpen niet alleen bij het vertalen van zinnetjes of het zetten van tags op Instagram, ze dragen bij aan academisch werk. Een post die woensdag gepubliceerd werd door Vanessa Williamson van The Brookings Institute wijst erop dat professors en onderzoekers het platform steeds vaker gebruiken om data te mijnen voor hun onderzoeken. "Zoeken op Google Scholar levert duizenden academische papers op die MTurk citeren, oplopend van 173 in 2008 tot 5,490 in 2014," schrijft Williamson.

MTurk trekt onderzoekers uit alle velden, van exacte wetenschappen tot filosofie. Wetenschappers kunnen met MTurk heel snel data verzamelen, maar belangrijker nog, heel goedkoop. Die data kan bovendien gewonnen worden uit een veel breder palet aan deelnemers dan wellicht aanwezig op de campus van hun universiteit.

Het probleem is echter dat niet altijd duidelijk is of de data die via Turkers gewonnen wordt geldig is, en er worden vragen gesteld over de ethiek van het gebruik van MTurk, omdat zo veel werkers veel minder dan het minimumloon betaald wordt. "Ik betaalde honderden arme Amerikanen het equivalent van ongeveer $2 per uur," schrijft Williamson.

Net als de bestuurders van Uber, worden Turkers niet gezien als werknemers van Amazon, maar als freelancers. Hoewel de identiteit van werkers wel wordt geverifieerd – Amazon vergelijkt gebruikers met hun belastingdocumenten – neemt Amazon geen verantwoordelijkheid voor uitbetaling van het minimumloon of het inhouden van loonbelastingen. MTurk werkt als een uitzendbureau op micro-schaal: individuen concurreren met elkaar om extreem korte baantjes te bemachtigen die slechts een paar seconden op de site staan voordat ze aangenomen worden.

Een populair thema op de subreddit r/mturk is hoe je kan rondkomen van werken op MTurk. Gebruiker EveryManALionvroeggisteren bijvoorbeeld hoe hij zijn MTurk-inkomsten moest aangeven bij de belastingdienst en welke invloed die inkomsten hebben op zijn voedselbonnen.

Hoewel het niet vaak voorkomt, is het mogelijk dat opdrachtgevers het werk wat Turkers hebben gedaan "weigeren," soms om geen enkele reden. Hiermee brengen ze de mogelijkheid om in de toekomst werk te blijven doen in gevaar. Werkers kunnen contact zoeken met opdrachtgevers over wat ze fout hebben gedaan of om de weigering ongedaan te maken – maar die blijven vaak onbeantwoord.

Ondanks deze zorgen, vertelden een aantal Turkers die ik sprak op Reddit dat academische opdrachten vaak de minst problematische zijn. "Ik denk dat rond de 50 procent van de academische opdrachtgevers proberen om eerlijk te betalen, wat meestal niet het geval is; wat ik bedoel is dat een hoger percentage van de academische opdrachtgevers meer geeft om eerlijk te betalen dan opdrachtgevers die geen onderzoeken posten," vertelt Reddit-gebruiker auralgasm me. Hij zegt full time op MTurk te werken.

"Het overgrote deel van academische opdrachtgevers betalen de tarieven die voorgesteld worden op veel mturk-forums ($0.10/min). Die onderzoeken zijn minder monotoon dan de meeste opdrachten, en aan het einde van de opdracht krijg je een verklaring over hoe ons werk bijdraagt aan on begrip van economie/psychologie/etc. (met andere taken is het vaak moeilijk om te zien wat het doel is van wat je doet)," schrijft Reddit-gebruiker xai.

Een van de grootste problemen met de academische onderzoeken op het platform is dat ze vaak langer duren dan aangegeven, dus een Turker verdient soms minder dan een dollar voor meer dan een uur werk.

Er bestaat ook een groep werkers die een hogere compensatie krijgen voor hun werk dan anderen: de bezitters van een master-kwalificatie. Masters zijn "werkers die uitmuntend gepresteerd hebben over een grote verscheidenheid van HITs," aldus Amazon. Deze werkers krijgen een ook volgens een aantal gebruikers op Reddit een hogere compensatie. "Ik Turk full time en ik ben een master. Als je naar MturkCrowd.com gaat, zie je dat de meeste turkers daar masters zijn en tussen de $200 en $2000 per week verdienen. Tussen $50-800 per dag," vertelt MarciTX me.

Het probleem is dat het onduidelijk is waarom of hoe Amazon die kwalificatie toewijst. Sommige Turkers die relatief weinig tijd op het platform hebben doorgebracht krijgen de master status, terwijl anderen die tienduizenden taken hebben uitgevoerd 'm niet krijgen.

Het is ook mogelijk dat Turkers nog minder betaald krijgen dan eerder. Opdrachtgevers betalen twee keer voor een taak: een keer aan de werkers, de "Worker Reward" en een keer aan Amazon, de "Mechanical Turk Fee." Die tweede is gebaseerd op de eerste, maar wordt wel apart betaald – in andere woorden,Amazon pakt geen deel van de betaling aan de werkers. In plaats daarvan, rekent Amazon 20 procent van het aangeboden loon en daar komt nog eens 20 procent bovenop als de onderzoeker meer dan 10 respondenten nodig heeft voor het onderzoek, wat bijna altijd het geval is.

Afgelopen juni, verdubbelde Amazon hun commissie van 10 naar 20 procent. Omdat dat percentage gebaseerd is op, en toegevoegd wordt aan het loon van Turkers, zeggen Turkers dat de nieuwe structuur betekent dat opdrachtgevers minder betalen. Zo zou een onderzoeker met een budget van 500 euro om onderzoeken uit te zetten meer moeten betalen aan Amazon, wat betekent dat de onderzoeker of minder respondenten kan betalen of minder moet betalen per respondent.

"Dit heeft het loon voor vragenlijsten verlaagd; ik vul veel vragenlijsten in en merkte een daling in wat ik daaraan verdien," vertelt auralgasm. "Ik denk niet dat het ethisch is om mensen aan te sporen om minder werk op MTurk te posten, ze zouden hun universiteit voor meer geld moeten vragen."

Motherboard zocht contact met Amazon voor een reactie op dit verhaal, maar heeft tot nog toe geen antwoord ontvangen.

Een van de grootste problemen met academici die MTurk gebruiken heeft niets met lonen te maken. Veel onderzoekers weten niet hoe de site werkt of hoe ze deze goed moeten gebruiken. Een onderzoeker blokkeerde bijvoorbeeld in 2014 per ongeluk honderden Turkers op Kerstavond, zodat ze zijn vragenlijst niet twee keer zouden invullen. Hij besefte niet dat Amazon soms de accounts van werkers schorst omdat ze geblokkeerd worden, waardoor ze niets kunnen verdienen tot hun account weer online is.

"Een ander veelvoorkomend ding is dat opdrachtgevers een error in hun vragenlijsten hebben (bijvoorbeeld door ze niet naar hun gender te vragen), en dan al het werk van respondenten weigeren omdat ze niet willen betalen voor slechte data," vertelt auralgasm. "Dit betekent dat je je tijd hebt verspild. Het is natuurlijk klote dat een opdrachtgever geld verliest als ze de data wel aannemen, maar het is niet ONZE schuld. Hadden ze maar voorzichtiger moeten zijn."

De online community van Mechanical Turk is op de hoogte van ethische vraagstukken rond het voeren van academisch onderzoek op de site, en gebruikers hebben een wikipagina gebouwd die academische opdrachtgevers wegwijs kan maken op MTurk. De richtlijnen zijn een project dat voortkwam uit Dynamo, een groep die werkt aan een reformatie van arbeid op Mechanical Turk.

Zelfs als de freelancers van MTurk ethisch uitbetaald worden, is het onduidelijk of de data die ze verschaffen de resultaten scheeftrekken.

Zoals politicologen Kathleen Searles en John Barry Ryan schreven in de Washington Post, is het zeker redelijk om MTurk in bepaalde gevallen te gebruiken om data te verzamelen. Het probleem is wat die gevallen zijn. Zelfs als het oké is, is het belangrijk om de resultaten niet van de daken te schreeuwen omdat "onderzoeken die MTurk gebruiken niet altijd tot dezelfde conclusies leiden als onderzoeken die nationale samples gebruiken."

Veel van de taken op de site worden gedaan door een zeer kleine groep werkers, die vaak met elkaar chatten over de vragenlijsten die ze invullen. Het is mogelijk dat het gebruik van zo'n kleine groep respondenten de resultaten kan scheeftrekken. Volgens de post van Williamson worden 80 procent van de taken uitgevoerd door 20 procent van de half miljoen werkersop de site.

In een paper dat gepubliceerd werd in PS: Political Science & Politics, roept Williamson academici op om uit te zoeken hoe MTurk-methodes gebruikt worden, en dat academische journals alleen ethisch uitgevoerde MTurk-onderzoeken accepteren.

Ondertussen hebben Turkers ook maatregelen genomen om zich te beschermen, door dingen te bouwen als Turkopticon, een Chrome-extensie waarmee Turkers opdrachtgevers kunnen reviewen.

Er is geen twijfel over mogelijk dat MTurk sommige mensen een inkomen geeft die ze anders niet zouden hebben. "Dankzij Turk kon ik mijn 10-jarige studieschuld in TWEE jaar afbetalen, waarmee ik $6k in rente bespaard heb," vertelt Reddit-gebruiker rdulany me. Maar veel Turkers worden ver onder het minimumloon betaald, en het is onduidelijk of de data die ze daarvoor leveren ook iets waard is voor onderzoekers.

En terwijl onderzoekers de ethische kwesties rond het gebruik van MTurk onderzoeken, blijven de werkers doorgaan met het vervullen van de vele vreemde en monotone taken die de academische wereld en het internet gaande houden.