Hva er et kontekstvindu?

Kontekstvinduet er AI-ens arbeidsminne: den mengden tekst modellen kan se samtidig når den skriver svaret sitt. Alt telles med: spørsmålet ditt, dokumentene du har lagt ved, tidligere meldinger i samtalen, og instruksjonene tjenesten har lagt til.

Vinduet er stort, men ikke uendelig, og det som ikke får plass, eksisterer ikke for modellen. Derfor kan lange samtaler føles som om AI-en "glemmer" starten: den gjør det ikke av slurv, teksten fikk rett og slett ikke plass.

Det finnes gode teknikker for å løse dette. EuroWork oppsummerer eldre deler av lange samtaler underveis, slik at det viktigste følger med uten at alt må være med ordrett, og velger ut de mest relevante avsnittene fra store dokumenter i stedet for å sende alt. Du merker det mest ved at lange tråder fortsetter å fungere, og at kostnadene holdes nede: mindre tekst inn betyr færre tokens å betale for.