Kaj je kontekstno okno?

Kontekstno okno je delovni pomnilnik umetne inteligence: količina besedila, ki ga model hkrati vidi, ko oblikuje odgovor. Šteje se vse: tvoje vprašanje, dokumenti, ki si jih priložil, prejšnja sporočila v pogovoru in navodila, ki jih je dodala storitev.

Okno je veliko, a ne neskončno, in kar se vanj ne more spraviti, za model ne obstaja. Zato se lahko pri dolgih pogovorih zdi, da UI »pozabi« začetek: ne pozabi iz malomarnosti, besedilo preprosto ni moglo stati.

Proti temu obstajajo dobri gradbeni pristopi. EuroWork med potekom pogovora povzema starejše dele dolgih konverzacij, tako da pomembno ostane na voljo, ne da bi bilo treba vse ohraniti dobesedno, in izbere najbolj ustrezne odstavke iz obsežnih dokumentov, namesto da bi pošiljal vse skupaj. To najbolj opaziš po tem, da dolge niti še naprej delujejo, in da so stroški nižji: manj besedila pomeni manj žetonov za plačilo.