Vad är ett kontextfönster?

Kontextfönstret är AI:ns arbetsminne: den mängd text modellen kan se samtidigt när den skriver sitt svar. Allt räknas: din fråga, dokumenten du bifogat, tidigare meddelanden i samtalet, och instruktionerna tjänsten lagt till.

Fönstret är stort men inte oändligt, och det som inte ryms finns inte för modellen. Det är därför långa samtal kan kännas som att AI:n "glömmer" början: den gör inte det av slarv, texten fick helt enkelt inte plats.

Det finns bra byggtekniker mot det. EuroWork sammanfattar äldre delar av långa konversationer löpande, så att det viktiga följer med utan att allt måste rymmas ordagrant, och väljer ut de mest relevanta styckena ur stora dokument i stället för att skicka alltihop. Du märker det mest som att långa trådar fortsätter fungera, och som att kostnaden hålls nere: mindre text in betyder färre tokens att betala för.