Какво е контекстен прозорец?

Контекстният прозорец е работната памет на ИИ: количеството текст, което моделът може да види едновременно, докато генерира отговора си. Всичко се брои: въпросът ти, прикачените документи, предишните съобщения в разговора и инструкциите, които услугата е добавила.

Прозорецът е голям, но не е безкраен, а това, което не се побира, просто не съществува за модела. Затова дългите разговори могат да изглеждат така, сякаш ИИ „забравя“ началото: не го прави от небрежност, просто текстът не се е събрал.

Съществуват добри техники за справяне с това. EuroWork непрекъснато обобщава по-старите части от дългите разговори, така че важното да остава, без да се налага всичко да се съхранява дословно, и избира най-релевантните откъси от големи документи, вместо да изпраща целия текст. Най-често го забелязваш по това, че дългите нишки продължават да работят добре, и че разходите остават ниски: по-малко текст означава по-малко токени за плащане.