Hvad er et kontekstvindue?

Kontekstvinduet er AI'ens arbejdshukommelse: den mængde tekst modellen kan se på én gang, når den skriver sit svar. Alt tæller med: dit spørgsmål, de dokumenter du har vedhæftet, tidligere beskeder i samtalen og de instruktioner tjenesten har tilføjet.

Vinduet er stort, men ikke uendeligt, og det der ikke får plads, eksisterer simpelthen ikke for modellen. Derfor kan lange samtaler føles som om AI'en "glemmer" begyndelsen: det gør den ikke af sjusk, teksten fik bare ikke plads.

Der findes gode teknikker til at løse det. EuroWork opsummerer løbende ældre dele af lange samtaler, så det vigtigste følger med uden at alt skal være der ordret, og vælger de mest relevante afsnit fra store dokumenter i stedet for at sende det hele. Det mærker du mest ved, at lange tråde fortsat fungerer, og at omkostningerne holdes nede: mindre tekst ind betyder færre tokens at betale for.