Wat is een contextvenster?

Het contextvenster is het werkgeheugen van de AI: de hoeveelheid tekst die het model tegelijk kan zien als het een antwoord formuleert. Alles telt mee: jouw vraag, de documenten die je hebt bijgevoegd, eerdere berichten in het gesprek en de instructies die de dienst heeft toegevoegd.

Het venster is groot, maar niet oneindig. Wat er niet in past, bestaat voor het model gewoon niet. Daarom voelt het soms alsof de AI het begin van een lang gesprek "vergeet": dat komt niet door slordigheid, de tekst paste er gewoon niet meer in.

Er zijn goede technieken om dit op te lossen. EuroWork vat oudere delen van lange gesprekken regelmatig samen, zodat de belangrijke informatie behouden blijft zonder dat alles letterlijk mee hoeft te worden genomen. Ook kiest het de meest relevante stukken uit grote documenten, in plaats van alles te verzenden. Je merkt dit vooral doordat lange threads gewoon blijven werken en dat de kosten laag blijven: minder tekst in betekent minder tokens om voor te betalen.