De grote belofte
Kunnen machines denken?
Je hebt iets besteld bij een webshop en het pakket is drie werkdagen te laat. Je opent de chat op de site en vraagt wat er aan de hand is. Je krijgt een van deze twee antwoorden. De webshop en de antwoorden zijn verzonnen voor deze oefening.
Klinkt goed of klopt het?
Koos je bij de eerste vraag voor A? Dat is begrijpelijk: A klinkt als iemand die je echt wil helpen. Koos je B, dan viel je misschien al op hoeveel A belooft. Want A belooft iets wat de webshop nooit heeft afgesproken. Zet je zo'n chatbot op je eigen site, dan heb je straks klanten die geld verwachten dat ze niet krijgen.
Beschrijving van dit schema
Twee rijen. Antwoord A: klinkt prettig, ja; klopt met het beleid, nee. Antwoord B: klinkt prettig, minder; klopt met het beleid, ja.
Het verschil tussen menselijk klinken en gelijk hebben is ouder dan de chatbot. Het zat al in een van de eerste ideeën over denkende machines.
Turing en het imitatiespel
In 1950 schreef de Britse wiskundige Alan Turing een artikel in het tijdschrift Mind. Hij begon met de vraag: kunnen machines denken? En hij vond die vraag meteen te vaag. Wat is denken eigenlijk?
Daarom bedacht hij een spel, het imitatiespel. In de bekendste vorm typt een ondervrager berichten naar twee gesprekspartners die hij niet ziet: een mens en een machine. Aan de antwoorden moet hij raden wie wie is. Raadt hij vaak mis, dan speelt de machine het spel goed. Later is dit de Turingtest gaan heten.
Met het spel zie je of een machine in een gesprek overkomt als een mens. Of wat de machine zegt ook waar is, en of de machine je klant goed helpt, zie je er niet mee. De oefening hierboven was geen Turingtest, maar laat hetzelfde verschil zien: antwoord A kwam menselijker over, antwoord B had gelijk.
Turing deed ook een voorspelling. Hij verwachtte dat computers het spel rond 2000 goed genoeg zouden spelen. Een gemiddelde ondervrager zou dan na vijf minuten vragen hooguit 70 procent kans hebben om goed te raden. Sindsdien melden kranten af en toe dat een chatbot "geslaagd" is. Hoe dat zat, lees je hieronder bij Meer weten.
Wat je ermee doet
Gaat het ergens om, controleer dan bij een chatbotantwoord één concrete bewering: een bedrag, een datum of een afspraak. Leg die naast de bron waar het vandaan hoort te komen.
Meer weten
Eugene Goostman, 2014. Een chatbot die zich voordeed als een Oekraïense jongen van dertien, overtuigde in een proef van de Universiteit van Reading 33 procent van de juryleden dat hij een mens was. Critici wezen erop dat een buitenlands kind rare antwoorden mag geven, en dat vijf minuten kort is. De grens van 30 procent kwam uit Turings voorspelling, niet uit een regel om te slagen.
Een grotere proef, 2025. Onderzoekers van de Universiteit van Californië in San Diego speelden het spel opnieuw na. Net als in 2014 chatte de ondervrager vijf minuten tegelijk met een mens en een machine. Een taalmodel dat de opdracht kreeg zich als een bepaald soort persoon voor te doen, werd in 73 procent van de gevallen als de mens gekozen, vaker dan de echte mensen. ELIZA, een programma uit 1966 dat met vaste trefwoordregels werkt, kwam in dezelfde proef op 23 procent.
Beide uitslagen gaan over hoe overtuigend een chatbot klinkt, niet over de vraag of hij gelijk heeft.
Bronnen
- A. M. Turing, "Computing Machinery and Intelligence", Mind 59 (236), 1 oktober 1950. academic.oup.com
- University of Reading, "Turing Test success marks milestone in computing history", 8 juni 2014. archive.reading.ac.uk
- Imperial College London, "DoC Professor disputes whether computer 'Eugene Goostman' passed Turing Test", 11 juni 2014. imperial.ac.uk
- C. Jones en B. Bergen, "Large Language Models Pass the Turing Test", preprint, 31 maart 2025. arxiv.org
- J. Weizenbaum, "ELIZA: A Computer Program for the Study of Natural Language Communication between Man and Machine", Communications of the ACM 9 (1), januari 1966.
In je eigen werk (optioneel)
Dit is een extra naast de oefeningen hierboven. Je hebt er een chatbot naar keuze voor nodig, of je leest alleen het voorbeeld. Het nieuwsbericht is verzonnen voor deze oefening.
Hier is een nieuwsbericht over AI. Wat is er precies getest, bij wie en hoe lang? En wat bewijst het niet? "Doorbraak: nieuwe chatbot slaagt voor Turingtest. In een proef met 200 deelnemers dacht 70 procent na een gesprek van vijf minuten dat ze met een mens chatten."
Kopieer de tekst hierboven naar een chatbot naar keuze en lees wat hij terugzegt. Wil je het met echt nieuws proberen, vervang het bericht dan door een AI-kop die je zelf tegenkwam.