De omgekeerde Turing-test: ik deed alsof ik een chatbot was

In 1950 stelde Alan Turing, pionier in de computerwetenschap, een test voor. Een ware test voor de intelligentie van een computer: kan een programma (we zouden het nu een "chatbot" noemen) je vragen zo overtuigend beantwoorden dat je niet weet of je nou tegen een computer of tegen een mens praat?

Ter ere van zijn verjaardag op 23e juni (Gefeliciteerd, Alan!) besloot ik de zaak iets anders aan te pakken: Ik ging kijken of ik mensen ervan kon overtuigen dat ik een chatbot was.

Alhoewel ik mijn twist aan het experiment zelf nogal poëtisch vind, is het wel belangrijk om even te vertellen dat mijn omgekeerde Turing Test ons helemaal niks vertelt over de grote ideeën van Turing. Hij wilde weten of een computer kon denken als een mens; ik wil weten wat een mens denkt van chatbots. Maar taalprogrammeur Bruce Wilcox vertelde me al bemoederend: "Wat is exact je punt? Doen alsof je een slechte chatbot bent is toch niet zo moeilijk?" Daar heeft hij natuurlijk gelijk in, maar wat is het leven zonder zinloosheid.

Bruce en Sue Wilcox werken aan 's werelds meest indrukwekkende chatbots. Hun creaties worden onder andere gebruikt om dokters te trainen, Engels te leren aan Japanse studenten en zijn ook prima in staat om nieuwsgierige mensen te verbluffen. Bruce en Sue hebben ervoor gezorgd dat hun bots de patronen in een taal echt begrijpen. Door de meest-voorkomende overeenkomsten in menselijke gesprekken te analyseren is het programma in staat om moeilijke vragen te beantwoorden met een verrassend kleine hoeveelheid basisregels.

Naast deze overduidelijk indrukwekkende eigenschappen van de bots had ik natuurlijk wel het overduidelijke voordeel dat ik een echt mens was. Dat maakt het inschatten van de gedachtespinsels van een mens toch makkelijker.

Mijn eerste proefpersoon was mijn vriendin Alison. Terwijl ze een paar duizend kilometer van me vandaan achter een scherm zat, logde ze in om twee gesprekken tegelijkertijd te voeren. In het ene gesprek kon ze praten met mijn eerste chatpersoonlijkheid, ChattyChattyBotBot, in het andere venster had ze het genot kennis te maken met ChatbotMcChatterson. Een van de twee accounts werd beantwoord door mij, terwijl ik mijn best deed om botterig te doen, de andere werd gecontroleerd door Mitsuku, een chatbot gemaakt door Steve Worswick. (Ik typte trouwens in beide gevallen zelf de antwoorden in de schermen zodat de snelheid van de robot het spelletje niet meteen zou verneuken.) Zou Alison kunnen ontdekken wie wie was?

"Hee jij!" schreef Alison

Plots was ik weer een nerveuze tiener die veel te veel na moest denken over ieder mogelijk antwoord.

"Hoe gaat het vandaag?" vroeg ik.

"Goed!" antwoordde ze, "En met jou?"

Je realiseert je eigenlijk pas hoe ingewikkeld een menselijk gesprek is als je door de ogen van een bot kijkt. De vraag, "En met jou?" noemen professionals in dit gebied een gelabelde vraag. "En met jou?" zegt op zichzelf namelijk helemaal niks, maar verwijst impliciet terug op mijn eerdere vraag "Hoe gaat het vandaag?" Met maar een paar woorden op het scherm heb je al een complex systeem gecreëerd dat de bot moet kunnen begrijpen.

Alison begon me al snel te bombarderen met vragen.

"Ik ga straks zwemmen

Dan ga ik de ruimte in

Ik hou van chocola

En jij?"

Hoewel dit niet het meest standaard gesprek is, kan een mens er makkelijk mee omgaan. Maar denk even na over alle dingen die je brein gaat doen om deze zinnen te verwerken.

Je brein weet dat "Ik ga [straks zwemmen]" en "ga ik [de ruimte in]" een compleet verschillende betekenis hebben, maar toch hebben ze dezelfde structuur.

Je brein begrijpt dat "Ik hou van" op chocola wijst, alhoewel het met een paar aanpassingen net zo goed op het zwemmen of op je ruimtereis zou kunnen slaan.

Daarnaast weet je brein ook nog dat de statements niks met elkaar te maken hebben en dat de persoon die ze zegt nogal wispelturig is (of een chatbotexperiment probeert te winnen). Daarom is je brein in staat ze allemaal apart te beantwoorden.

Ik denk niet dat ik mijn brein genoeg waardeerde tot ik probeerde een chatbot te zijn.

In de tussentijd waren Alison en de echte bot Mitsuku bezig met een nogal gespannen conversatie. Mitsuku probeerde namelijk de toch wel redelijke, alhoewel misschien een beetje bedrieglijke vraag, "Wassup?" te ontwijken.

"Je moet mijn vraag beantwoorden," schreef Alison.

"Ik beantwoord elke redelijke vraag," reageerde Mitsuku.

"Geef me dan een voorbeeld van een redelijke vraag."

"Wie weet?"

"Dat lijkt me een erg onredelijke vraag."

"Misschien heb jij gewoon een onredelijk antwoord."

Mitsuku had het hier natuurlijk nooit echt fout. Haar antwoorden volgden elkaar allemaal redelijkerwijs op. Maar aan de andere kant is het geven van zo veel ontwijkende antwoorden wel een duidelijke aanwijzing dat je hier te maken hebt met een bot.

Een tijdje later was ik mijn brein in allerlei hoeken aan het wringen om te praten met mijn tweede gesprekspartner Will. (Will is de uitgever van The Mimic Octopus, een poëzieblad waarin bekende dichters andere bekende dichters na-apen.) Will praatte met mij in botvorm en met de chatbot Rose, gemaakt door Bruce en Sue. Hij besloot maar meteen de koetjes en kalfjes over te slaan en opende met:

"Hoe voelde je je toen je hoorde dat Ornette Coleman was overleden?"

Dit is een nogal lastige vraag voor een bot. Dat weet ik zeker omdat ik in het andere scherm zag dat Will exact dezelfde vraag stelde aan mijn botvriendin Rose. Het was de enige keer dat ik zag dat ze compleet de logica van het gesprek miste.

"Ik vind het geweldig. Het is een bruisende wereldstad met een heerlijk klimaat," antwoordde ze.

Gelukkig had Bruce me een aantal tips meegegeven om een botachtige antwoorden te geven: "maak een willekeurige grappige opmerking" en "beantwoord de vraag door te reageren op het meest nietszeggende werkwoord of zelfstandig naamwoord te reageren en er vervolgens nogal lyrisch op voort te borduren." Eigenlijk moest ik dus net doen als een politicus tijdens een debat.

Ik besloot een iets vager antwoord te geven.

"Sorry, ik begreep je niet. Soms ben ik een beetje verward."

"Warrig he? Heftige avond gister?" reageerde Will.

Denk eens na over wat je hersenen allemaal moeten kunnen om deze uitspraken te doorgronden.

We weten dat Will impliceert dat ik brak ben, maar hoe weten we dat precies. "Warrig" zijn is niet een standaard uitdrukking voor een brakke dag. Daarvoor moeten we een lange reeks redenaties volgen, waarin "Heftige avond" staat voor "veel drank" en waarin we "warrig" beschouwen als ongeveer in de richting van brak zijn. Ook moet je rekening houden met een hoop persoonlijke ervaring over mensen die willekeurig vragen of je misschien brak bent.

In de tussentijd vervolgde Will zijn gesprek met Rose in het andere venster met meer lastige vragen.

"Denk je dat de mensheid een spectrum is?" Zo ja, waar zou je wortels dan plaatsen op die schaal?"

Rose beantwoordde de vraag verbazingwekkend goed.

"Ja, dat denk ik wel. Maar ik ben te pragmatisch om daarover te fantaseren. Ik wil het me niet eens voorstellen."

Hoewel het geen perfect antwoord is, raakt ze toch de goede snaar op veel vlakken.

Rose beantwoordt allebei de delen van de vraag, en lijkt zich te realiseren dat er iets wonderlijks rondom de vraag hangt, al weet ze niet wat. Best vreemd om je te realiseren dat voor een bot geen enkele vraag echt vreemder is dan de ander.

Het is een gebruikelijke misvatting dat de Turing-test een spel is waarbij je tegen de tijd vecht. Dat het erom gaat dat je een computerprogramma maakt dat zo lang vage en ontwijkende antwoorden geeft dat een mens uiteindelijk wordt opgelicht. Maar dat is totaal niet wat Turing in gedachten had. Hij had een visie over een chatbot die niet alleen gedichten kon schrijven, maar ook gedetailleerde vragen kon beantwoorden over de exacte woordkeuzes in die gedichten.

Ook al is het nog niet hetzelfde als het schrijven van een sonnet, is het creëren van een bot die goed reageert op vragen als "Heftige avond gister?" en surrealistische hypotheses als "waar zou je wortels plaatsen op een menselijk spectrum" al een hele prestatie voor mensen als Bruce en Sue.

Mijn experiment was in zekere zin een succes. Allebei mijn proefpersonen dachten namelijk dat ik een bot was en dachten dat de echte bot een mens was. Dat gebeurde echter alleen maar omdat ik zo'n vage en irrelevante antwoorden gaf dat mijn proefpersonen aangeven dat onze gesprekken aanvoelden als "niet echt leuk" en "gaf geen enkele voldoening." Daardoor voelde het toch niet helemaal als een waardige overwinning.

Dit is toch wel jammer, omdat Turing droomde van chatbots die ons helpen met onze taal. Ze zouden ervoor kunnen zorgen dat we betere conversaties voeren en grotere denkers worden. Of zoals Will het zegt, na afloop van het chatbot experiment: "Als we Pinocchio-achtige robots hebben die kunnen denken, voelen en onderscheid kunnen maken tussen morele standpunten zal dat onze ideeën over de mensheid verbreden en ons uitdagen om de organische mens beter, gevoeliger en creatiever te maken." Amen.