Context window: waarom AI je gesprek vergeet

Je bent een uur bezig met ChatGPT. In het begin ging het geweldig: je legde uit wie je klant is, welke toon je wilt, wat er in de offerte moet. Maar nu, twintig berichten later, stelt hij ineens voor om de klant te tutoyeren terwijl je aan het begin duidelijk zei: netjes met u. Alsof je collega halverwege het gesprek is weggelopen en een vreemde zijn plek heeft ingenomen.

Dit overkomt iedereen, en het is geen fout van jou of van de AI. Een AI-model heeft namelijk geen geheugen zoals wij. Het heeft een werkblad: alles wat daarop ligt, ziet het model. Alles wat eraf valt, bestaat niet meer. Hoe langer je gesprek, hoe voller dat werkblad, en op een gegeven moment schuiven je oudste berichten er gewoon af.

Dat werkblad heeft een naam: het context window. Het is de hoeveelheid tekst die het model in één keer kan overzien, van je vraag tot eerdere berichten en geüploade documenten. Geen opslag voor de lange termijn: een nieuw gesprek begint altijd leeg.

Zodra je weet dat AI met een werkblad werkt, snap je ineens een hele reeks rare ervaringen. Waarom een lang rapport in één keer plakken een oppervlakkig antwoord geeft: het werkblad ligt te vol. Waarom je schrijfinstructie van het begin aan het einde niet meer geldt: hij is eraf geschoven. Waarom een nieuw gesprek "dom" begint: leeg werkblad.

En het scheelt geld en frustratie. Wie dit niet doorheeft, gooit steeds meer tekst in de chat en krijgt steeds slechtere antwoorden. Wie het wel doorheeft, deelt slim op en krijgt betere resultaten uit precies hetzelfde model.

Hoe groot het werkblad is, verschilt per model en per abonnement, en dat verandert regelmatig. Groter is trouwens niet automatisch beter: een vol werkblad maakt het model niet scherper.

• Ondernemer (MKB): je voert één lang gesprek over je hele bedrijf, van marketing tot personeel. Splits liever per onderwerp een nieuw gesprek af, anders raakt de rode draad zoek.
• Office/administratie: je laat AI tientallen facturen of mails tegelijk verwerken. In kleinere porties krijg je minder fouten.
• Verkoop: je plakt de volledige mailwisseling van een klant erin voor een opvolgmail. Alleen de laatste relevante mails werkt vaak beter.
• Corporate teams (manager, HR, marketing, IT): lange verslagen samenvatten, CV's vergelijken, campagnebriefings bewaken, code laten controleren. Overal geldt dezelfde regel: past het niet op het werkblad, knip het op.

1. Bepaal wat het model écht moet weten voor deze ene vraag en laat de rest weg.
2. Deel lange documenten op in stukken in plaats van alles ineens te plakken.
3. Vat een lang gesprek tussentijds samen en werk vanaf die samenvatting verder.
4. Herhaal belangrijke instructies (zoals toon of format) als een gesprek lang wordt.
5. Werk je vaak met grote documenten, kies dan bewust een model met een ruimer venster.

Een officemanager plakt een jaarverslag van vijftig pagina's in één prompt en vraagt om een samenvatting. Het resultaat oogt prima, tot ze merkt dat het hele middenstuk ontbreekt: het document paste niet op het werkblad.

Ze pakt het anders aan: vijf delen van tien pagina's, elk deel apart laten samenvatten, en aan het einde de vijf samenvattingen laten samenvoegen. Nu klopt het wel. Zelfde model, zelfde document, ander gebruik van het context window.

• Gebruik dit morgen bij een lang rapport: knip het op in secties voordat je het aan AI voorlegt.
• Gebruik dit morgen in een lang chatgesprek: vraag "vat de belangrijkste punten en afspraken tot nu toe samen" en werk vanaf die samenvatting verder.
• Gebruik dit morgen bij meerdere documenten: behandel ze één voor één in plaats van alles tegelijk te uploaden.

Alle modellen (ChatGPT, Claude, Gemini, Copilot)

Ik deel dit document in delen omdat het te lang is voor één keer.
Dit is deel [1 van 3]. Vat dit deel samen in maximaal 5 bullets,
zonder nog een eindconclusie te trekken. Ik stuur de andere delen
hierna en vraag je aan het eind om alles samen te voegen.

[plak hier het eerste deel van het document]

Alle modellen: gesprek resetten zonder opnieuw te beginnen

Vat het gesprek tot nu toe samen in maximaal 8 zinnen: welke
beslissingen zijn genomen, welke vragen staan nog open, en welke
instructies (toon, format, doelgroep) moet je blijven meenemen in
de rest van dit gesprek.

• Een heel boek of complete map documenten ineens plakken en dan verbaasd zijn over een oppervlakkig antwoord.
• Denken dat het model onthoudt wat je vorige week besprak: een nieuw gesprek begint leeg.
• Instructies zoals "schrijf met u" één keer geven aan het begin van een lang gesprek en erop rekenen dat ze aan het eind nog gelden.
• Aannemen dat een groter venster altijd beter is: meer tekst geeft niet automatisch een beter antwoord.

• Minder is meer: deel alleen de tekst die er voor deze vraag toe doet.
• Werk met tussentijdse samenvattingen bij lange gesprekken of documenten.
• Begin per onderwerp een nieuw gesprek in plaats van één eindeloos gesprek voor alles.
• Herhaal je belangrijkste instructie zodra je merkt dat het model afdwaalt.

Neem een document van minimaal vijf pagina's dat je toch al moest samenvatten. Plak het eerst in één keer in een AI-chat. Knip het daarna op in twee of drie delen, laat elk deel apart samenvatten en voeg de resultaten samen. Vergelijk: welke versie mist details, en welke is completer?