Mis on kontekstiaken?

Kontekstiaken on AI töömälu: tekstihulk, mida mudel suudab korraga näha, kui ta oma vastust koostab. Kõik läheb arvesse: sinu küsimus, dokumendid, mille sa lisasid, vestluse varasemad sõnumid ja teenuse enda juhised.

Aken on suur, aga mitte lõputu, ja see, mis sinna ei mahu, ei eksisteeri mudeli jaoks. Sellepärast võivad pikad vestlused tunduda, nagu AI „unustaks“ alguse: ta ei tee seda hooletuse pärast, tekst lihtsalt ei mahtunud ära.

Selle vastu on häid lahendusi. EuroWork võtab pikkadest vestlustest kokkuvarasemaid osi, nii et oluline jääb kaasa ilma, et kõik peab sõna-sõnalt ära mahtuma. Samuti valib ta suurtest dokumentidest välja kõige asjakohasemad lõigud, mitte ei saada kogu teksti korraga. Sa märkad seda peamiselt sellest, et pikad vestluslõngad töötavad endiselt hästi ja et kulud jäävad madalaks: vähem teksti sisse, vähem maksmisele minevaid tokeneid.