Šta je kontekstni prozor?

Kontekstni prozor je radna memorija AI-ja: količina teksta koju model može istovremeno vidjeti dok piše odgovor. Broji se sve: vaše pitanje, dokumenti koje ste priložili, prethodne poruke u razgovoru i uputstva koja je usluga dodala.

Prozor je velik, ali ne beskonačan, a ono što se ne uklopi jednostavno ne postoji za model. Zato dugi razgovori mogu izgledati kao da AI "zaboravlja" početak: ne radi se o nemaru, tekst jednostavno nije stao.

Postoje dobri načini da se to riješi. EuroWork kontinuirano sažima starije dijelove dugih razgovora, tako da ono važno ostane sačuvano bez potrebe da sve bude doslovno uključeno, a bira i najrelevantnije dijelove iz velikih dokumenata umjesto da šalje sve. To najviše primijetite po tome što duge niti i dalje funkcioniraju, a troškovi ostaju niži: manje teksta znači manje tokena za koje treba platiti.