Kva er eit kontekstvindauge?

Kontekstvindauget er arbeidsminnet til KI-en: den mengda tekst modellen kan sjå samstundes når ho skriv svaret sitt. Alt blir talde med: spørsmålet ditt, dokumenta du har lagt ved, tidlegare meldingar i samtalen og instruksjonane tenesta har lagt til.

Vindauget er stort, men ikkje uendeleg, og det som ikkje får plass, finst ikkje for modellen. Det er derfor lange samtalar kan kjennast som om KI-en "gløymer" byrjinga: ho gjer det ikkje av slurv, teksten fekk rett og slett ikkje plass.

Det finst gode byggjeteknikkar mot dette. EuroWork oppsummerer eldre delar av lange samtalar undervegs, slik at det viktige følgjer med utan at alt må få plass ordrett, og vel ut dei mest relevante avsnitta frå store dokument i staden for å sende alt saman. Du merkar det mest som at lange trådar held fram å fungere, og at kostnadene blir haldne nede: mindre tekst inn betyr færre tokens å betale for.