Çfarë është një dritare konteksti?

Dritarja e kontekstit është memoria e punës së AI-së: sasia e tekstit që modeli mund të shohë njëkohësisht kur shkruan përgjigjen. Llogaritet gjithçka: pyetja jote, dokumentet që ke ngjitur, mesazhet e mëparshme në bisedë dhe udhëzimet që shërbimi ka shtuar.

Dritarja është e madhe, por jo e pafundme, dhe ajo që nuk përshtatet nuk ekziston për modelin. Kjo është arsyeja pse bisedat e gjata mund të duken sikur AI "harron" fillimin: ajo nuk e bën këtë nga pakujdesia, thjesht teksti nuk ka pasur vend.

Ekzistojnë teknika të mira ndërtimi për ta shmangur këtë. EuroWork përmbledh pjesët më të vjetra të bisedave të gjata vazhdimisht, në mënyrë që ajo që është e rëndësishme të vazhdojë të shoqërohet pa pasur nevojë që gjithçka të përshtatet fjalë për fjalë, dhe zgjedh pjesët më të rëndësishme nga dokumentet e mëdha në vend që t'i dërgojë të gjitha. E vëren më së shumti si faktin që fije të gjata vazhdojnë të funksionojnë, dhe si faktin që kostoja mbetet e ulët: më pak tekst hyrës, më pak tokenë për t'u paguar.