De kunstmatige intelligentie genaamd Eugene is helemaal niet zo intelligent

Dat een bescheiden tiener-chatbot die Eugene heet de Turing Test heeft "verslagen" voor de eerste keer in de geschiedenis leverde veel mooie koppen op voor een relatief rustige maandagochtend. De Washington Post noemde het een "mijlpaal." PC World noemde het een "ijkpunt." Sommige anderen, zoals ikzelf, noemen het onzin.

Dat is misschien een beetje cru, maar aangezien de Turing Test in onze populaire mythologie wordt beschreven als "het moment waarop machines slimmer worden dan mensen," is het belangrijk om de feeststemming te onderbreken. De technologische prestatie is misschien het vieren waard, maar het is bij lange na geen mijlpaal. Het is gewoon weer een voorspelbare stap naar kunstmatige intelligentie die niet zo heel intelligent is. Breng maar even vijf minuten met Eugene door en je zult het zelf zien.

'Eugene Goostman' is een bot die ontwikkeld is in Sint Petersburg in 2001 door Vladimir Veselov van Princeton AI, en de uit Oekraïne afkomstige Eugene Demchenko. Het loopt op een supercomputer en het programma is ontworpen om taal en gesprekspatronen te emuleren van een Oekraïense tiener die Engels leert.

Dit weekend, bij de Royal Society in London, werd Eugene onderworpen aan de moderne incarnatie van de Turing Test. Het stelt Alan Turing's kernvraag uit 1950: kunnen machines denken? Dertig juryleden gingen in gesprek met Eugene. De jury bestond uit andere kunstmatige intelligenties en echte mensen. In speeddating-achtige sessies werden gesprekken van vijf minuten gehouden waarbij de jury niet wist wie er achter het gordijn schuil ging.

Toen Eugene vragen beantwoordde naast een echt persoon, vergiste 33 procent van de juryleden zich blijkbaar en zagen Eugene voor de mens aan. Daarmee werd dus voldaan aan de benodigheden om de kunstmatige intelligentietest te behalen. Sommigen dachten dat dit nog jaren zou duren. In 2002 sloot Mitch Kapor een weddenschap met Ray Kurzweil voor 20.000 dollar. "Tegen 2029," gokte Kapor, "zal geen computer -- of 'machine intelligentie' -- de Turing Test hebben gehaald."

Het is nog onduidelijk of Kurzweil nu 20.000 dollar rijker is. Er zijn nog een hoop vragen rond de validiteit van Eugene, maar ook blijven er vragen bestaan rond de bewoording van de test zelf. Ook zijn er grote vragen over of we wel de juiste vragen stellen over hoe slim kunstmatige intelligentie ook echt is, of überhaupt zou moeten zijn.

Desondanks dacht ik dat de makkelijkste manier om in de harrewar van kunstmatige intelligentie te raken was om zelf met Eugene te chatten. Hij is online op de website van Princeton AI, hoewel hij zich langzaam voortbeweegt sinds het grote nieuws is uitgebroken. Zelfs op zijn piek was Eugene nog een belabberde gesprekspartner.

Ik begon met het stellen van vrij simpele vragen. Als ik een jury was denk ik dat ik dertig seconden nodig had gehad om Eugene te ontmaskeren als spambot. Ik stelde hem vragen die extreem voor de handliggend waren, en hij faalde:

Ik stelde hem vragen die oudere Turing Test juryleden ook gevraagd hebben, en hij faalde:

Toen stelde ik een vraag die geïnspireerd was door bekendste cinematische representatie van de Turing Test: de ultieme Voight-Kampff vraag van Blade Runner. De volledige vraag is, natuurlijk, "beschrijf in enkele woorden alleen de goede dingen die in je boven komen over… je moeder."

Ik bedacht me dat ik complexe grammatica moest vermijden en rustig aan moest doen met Eugene, voordat ik een replicant-achtig falen zou veroorzaken.

Desondanks faalde hij:

Ik had nog genoeg voor de hand liggende "gesprekken" met de bot, zodat hij ons naar wat vriendelijkere onderwerpen kon leiden. Maar hij wilde niet over politiek praten (hij is een tiener, dus dat valt te begrijpen). Hij bleef me vragen naar mijn beroep; hij had over Miley Cyrus gehoord zei hij, maar hij bleef naar haar verwijzen als 'Cyrus', en hij wilde niet over haar praten. Hij kon de muziek van zijn favoriete zangeres niet beschrijven, behalve dat hij zei dat hij Britney Spears niet leuk vond. Maar niets verwarde hem zo veel als vragen over recreatie buiten de deur.

Hij probeerde zijn falen te verhullen:

De versie van Eugene die online staat is misschien niet de laatst geüpdate versie van de bot. (Ik heb vragen gestuurd naar Dr. Veselov via de organisators van het evenement). Verassend genoeg, won Eugene de Turing competitie in 2012. Toen nam hij 29 procent van de juryleden in het ootje, waarmee hij slechts één procent tekort kwam om daadwerkelijk de test te behalen.

Op geen enkel moment had ik het gevoel dat ik ook echt een gesprek had met iets dat op een mens leek. Ik wist natuurlijk vanaf het begin dat Eugene geen mens was, dus ik was bevooroordeeld. Ik zag de tekortkomingen, in tegenstelling tot de jury, als programmeerfouten en niet als potentiële problemen afkomstig door een taalbarrière.

Daar ligt nog een controversieel punt - Eugene's ontwikkelaars hebben hem expres ontworpen als een tiener wiens moedertaal niet hetzelfde is als die van de jury. Hierdoor wordt zijn kans van slagen vergroot. Het is een slim truukje wat ze er in hebben gestopt, en de meeste mensen denken dat het niet per se tegen de regels is. Maar waarom zou je op die manier de Turing Test willen rocken? En wat betekent het precies dat er succesvol met de Turing Test gespeeld kan worden?

Dit is het beste moment om duidelijk te maken dat de Turing Test behoorlijke arbitrair is geworden, en het belang dat welk programma dan ook in de test "slaagt" is op zijn minst ambigu.

In feite is de test door de jaren heen geëvolueerd. Er zijn parameters en maatstaven geïntroduceerd die niet in het originele concept zaten. In eerste instantie was de test beschreven door de grootvader van de computer Alan Turing en werd "The Imitation Game" genoemd in een paper uit 1950. Zoals Professor Murray Shanahan, van het Department of Computing at Imperial College London, aan Kelly Oakes uitlegt, zijn er een aantal tekortkomingen tussen de test die Eugene zojuist heeft gepasseerd en de test die de bedenker voor ogen had.

Ten eerste was er nooit sprake van het slagen bij de test door 30 procent voor de gek te houden. Turing zei dat het teken van succes er uit bestond dat wanneer "de ondervrager net zo vaak foutief besluit als dat het spel gespeeld wordt [tussen een computer en een mens] als wanneer het spel gespeeld zou worden tussen een man en een vrouw," zei Shanahan.

Wat nog belangrijker is, is dat de tijdslimiet van vijf minuten nooit in Turing's paper voorkwam. Het is waarschijnlijk ontworpen om de competities voor kunstmatige intelligenties een beetje spannend te houden. Wanneer de jury nog eens 10 minuten extra hadden gekregen, is het erg onwaarschijnlijk dat ook maar één jurylid had gedacht dat Eugene een mens was. Het moge ook duidelijk zijn dat de maatstaven die gebruikt zijn voor het beoordelen behoorlijk vaag zijn. De hele test is meer een gedachte-experiment dan een belangrijke mijlpaal in het bereiken van een "sterke kunstmatige intelligentie". Het is nu eenmaal zo aan ons gebracht.

Heeft iemand gecheckt of de reden waarom de Turing Test "verslagen" is, is omdat mensen dommer zijn geworden?

— Anil Dash (@anildash) 9 juni, 2014

Er is echter zeker iets heel interessants aan het feit dat een computer ten minste 10 juryleden in de maling heeft genomen, zelfs al is het maar voor vijf minuten. Onze programma's worden slim genoeg om ons er even van te overtuigen dat ze buitenlandse uitwisselingsstudenten zijn. En de bots beginnen steeds meer grip te krijgen op de contouren van onze taal.

Maar zelfs dat is niet noodzakelijkerwijs een voorteken van een naderend dageraad van kunstmatige intelligentie. In een geweldig, recent essay legt Frederick deBoer, een academicus in de retoriek van Purdue University, uit waarom hij een "krokante krabburger [is] over kunstmatige intelligentie en cognitieve wetenschappen."

In principe is er een gigantische, onbeantwoordde vraag die als een schaduw over de discussie omtrent kunstmatige intelligentie hangt. Wat willen we eigenlijk dat het is of wordt? Willen we dat onze kunstmatige intelligentie ons in de maling neemt en ons plezier brengt in chatrooms, statistieken en data bij elkaar sprokkelt om zo mensachtig gedrag te kunnen produceren? Of willen we iets dat ook echt "denkt" als een persoon?

Zoals deBoer schrijft, "wat we moeten uitvinden - en waar we bar weinig progressie in hebben gemaakt - is hoe het menselijk brein informatie ontvangt. Hoe het informatie interpreteert, hoe het informatie opslaat en hoe het informatie oproept. Deze minimale taken voor cognitieve wetenschappen, en of de functie van kunstmatige intelligentie is om zo dicht mogelijk bij menselijke cognitieve functionaliteit te komen, zijn noodzakelijke vereisten om het te behalen."

Dan beschrijft hij Eugene best wel aardig:

"Daarentegen heb je de Google/Big Data/Bayesiaans alternatief. Dit is een kansmodel waar menselijke cognitieve functies niet begrepen worden en worden gerepliceerd in inputs en outputs, maar worden eerder benaderd door gigantische statistische modellen, normaal gezien met naïeve Bayesiaanse klassificeerder. Dit is het model waar in principe elk aanbevelingsengine, vertalingsservice, natuurlijke taalverwerking, en gelijkssoortige recente technologieën door werken."

Wanneer deze tactieken toegepast worden op het project van het emuleren van mensen, dan krijg je iets dat op Eugene lijkt. In andere woorden, het programma is niet echt kunstmatig "intelligent. Het is simpelweg het best-geprogrammeerde menselijke kameleon tot nu toe. Dat is misschien wel een prestatie, maar het is niet per se kunstmatige intelligentie.

Dat is een deel van de reden waarom sommige sites zoals Buzzfeed en Techdirt met recht een gat in de tumult prikken. Het is ook, misschien wat paradoxaal, waarom zo veel anderen uitwegen met recht enthousiast zijn over het evenement. Het is goed nieuws dat onze computers zo goed worden. En we hebben deze mijlpalen nodig om opgewonden te blijven over de ontwikkeling van informatie-technologieën. Om de financiering voor gewaagd onderzoek over kunstmatige intelligentie te versnellen, zeker nu veel ervan vastzit in product-ontwikkelingslaboratoria.

En omdat we voorzichtig eens moeten gaan nadenken over wat kunstmatige intelligentie nou precies is. Dat is zeker een vraag dat geen bot kan beantwoorden, althans: nog niet.