Tokens: waarom AI je tekst in blokjes hakt
Je vraagt AI iets simpels en de rekening blijkt hoger dan gedacht, of het antwoord stopt zomaar midden in een zin. De oorzaak zit in hoe het model leest: in kleine stukjes tekst. Die stukjes heten tokens, en ze bepalen zowel de kosten als hoeveel tekst past.
Introductie
Je laat AI een offerte herschrijven, niet meer dan een paar zinnen, en de rekening aan het eind van de maand valt toch hoger uit dan je had ingeschat. Of je vraagt om een uitgebreid antwoord en het stopt gewoon midden in een zin, alsof iemand halverwege de stekker eruit trekt. Beide keren lijkt er iets kapot, maar het model doet gewoon waarvoor het gebouwd is.
Een AI-model leest je tekst namelijk niet in hele woorden, zoals jij dat doet. Het hakt alles in kleine stukjes, ongeveer zoals een keukenmachine geen hele wortel verwerkt maar er eerst blokjes van maakt. Een kort, veelgebruikt woord is meestal al één blokje. Een lang of ongewoon woord valt uiteen in een paar stukjes. Ook spaties, leestekens en cijfers tellen mee als eigen blokje.
Zo'n blokje heeft een naam: het token. Alles wat een model leest en schrijft wordt in tokens geteld, niet in woorden of zinnen. Als vuistregel geldt: gemiddeld staat één token voor ongeveer vier tekens Engelse tekst. Nederlandse tekst met veel samengestelde woorden of vaktermen kan anders uitpakken, dus zie het als een ruwe indicatie, geen vaste maat.
Waarom is dit belangrijk?
Zodra je weet dat een model in blokjes rekent, snap je in één klap die twee rare ervaringen uit de intro. Bij veel AI-diensten betaal je namelijk per token: op basis van wat je erin stopt (de prompt) en wat eruit komt (het antwoord). Lange, herhaalde documenten kosten dus meer dan korte, gerichte vragen.
Het verklaart ook die afgekapte zin: is de limiet aan tokens voor het antwoord bereikt, dan stopt het model, ook als de tekst nog niet af is.
Wie dit niet doorheeft, stuurt steeds meer tekst mee "voor de zekerheid" en ziet de rekening oplopen en de antwoorden trager worden. Wie het wel doorheeft, stuurt gericht en haalt met hetzelfde model betere resultaten binnen tegen lagere kosten.
Wanneer gebruik je dit?
- Ondernemer (MKB): je laat AI een offerte of voorstel opstellen en ziet de rekening aan het eind van de maand oplopen. Kortere, gerichtere prompts schelen direct in tokens en dus in kosten.
- Office/administratie: je laat AI dagelijks mails of verslagen samenvatten. Een vast, kort sjabloon meesturen kost minder tokens dan telkens een hele handleiding erbij plakken.
- Verkoop/zzp'er: je personaliseert offertes met AI. Korte, gerichte prompts besparen tokens, en dus geld, zonder dat de kwaliteit inlevert.
- Corporate teams (manager, HR, marketing, IT): een manager beoordeelt een factuur van een AI-leverancier, HR laat CV's samenvatten, marketing genereert campagneteksten en IT houdt bij een integratie rekening met tokenlimieten per aanvraag. Overal geldt dezelfde regel: minder overbodige tekst betekent minder kosten.
Stap voor stap
- Besef dat elke prompt en elk antwoord in tokens wordt geteld, niet in woorden.
- Houd prompts to the point: overbodige herhaling kost onnodig tokens.
- Vraag bij een afgekapt antwoord om verder te gaan, in plaats van de hele vraag te herhalen.
- Controleer bij API-gebruik vooraf welke tokenlimieten en tarieven gelden.
- Reken bij grootschalig gebruik vooraf een schatting van het tokenverbruik per taak.
Praktijkvoorbeeld
Een marketingteam gebruikt AI om productbeschrijvingen te genereren voor honderden webshopartikelen. Eerst stuurt iemand bij elk artikel de volledige merkhandleiding van tien pagina's mee, voor de zekerheid. De rekening loopt op en de verwerking wordt traag.
Na uitleg over tokens maakt het team een korte, vaste samenvatting van de belangrijkste huisstijlregels en gebruikt die bij elk artikel. De kosten dalen sterk en de teksten blijven net zo consistent.
Direct toepassen
- Gebruik dit morgen bij het schrijven van prompts: schrap overbodige inleidende zinnen, dat scheelt tokens en dus kosten.
- Gebruik dit morgen als een antwoord midden in een zin stopt: vraag simpelweg om verder te gaan in plaats van de vraag opnieuw te stellen.
- Gebruik dit morgen bij een vast sjabloon dat je vaak hergebruikt: maak het kort en bondig, want je betaalt daar telkens opnieuw voor.
Promptbibliotheek
Alle modellen (ChatGPT, Claude, Gemini, Copilot)
Je antwoord is afgekapt. Ga verder precies waar je gebleven was,
zonder de tekst die je al gaf te herhalen.
ChatGPT
Schrijf een korte, herbruikbare instructie (maximaal 5 zinnen) die ik
steeds kan meesturen in plaats van onze volledige huisstijlgids van
[aantal] pagina's. De instructie moet de belangrijkste schrijfregels
dekken: toon, doelgroep en verboden woorden.
Veelgemaakte fouten
- Een heel lang document telkens opnieuw meesturen "voor de zekerheid", terwijl een korte samenvatting hetzelfde effect heeft tegen lagere kosten.
- Bij een afgekapt antwoord de hele vraag opnieuw stellen in plaats van te vragen om verder te gaan.
- Denken dat een token hetzelfde is als een woord: bij Nederlandse samengestelde woorden klopt die aanname vaak niet.
- Bij API-gebruik geen rekening houden met tokenlimieten, waardoor een integratie faalt bij lange invoer.
Best practices
- Houd prompts kort en to the point, zeker bij veelvuldig of geautomatiseerd gebruik.
- Gebruik korte, vaste samenvattingen van lange documenten in plaats van de volledige tekst telkens mee te sturen.
- Reken bij zakelijk gebruik vooraf een schatting van het tokenverbruik, zodat kosten niet verrassen.
- Vraag bij een afgekapt antwoord om een vervolg, in plaats van de hele prompt te herhalen.
Oefening
Pak een prompt die je vaak hergebruikt, bijvoorbeeld voor e-mails of samenvattingen. Schrijf hem opnieuw in de helft van het aantal woorden, zonder de kern te verliezen. Test beide versies op hetzelfde voorbeeld: is de kortere versie net zo goed, en waar bespaar je zo tokens en kosten?