Що таке вікно контексту?

Вікно контексту, це робоча пам’ять ШІ: обсяг тексту, який модель може бачити одночасно, коли генерує відповідь. Враховується все: ваше запитання, додані документи, попередні повідомлення в розмові та інструкції, які додав сервіс.

Вікно велике, але не безмежне, і те, що не вміщається, для моделі просто не існує. Саме тому довгі розмови можуть здаватися, ніби ШІ «забуває» початок: це не через недбалість, просто текст не вмістився.

Є хороші технічні рішення цієї проблеми. EuroWork постійно узагальнює давніші частини довгих розмов, щоб важливе залишалося доступним, не зберігаючи все дослівно, а також вибирає найрелевантніші уривки з великих документів замість того, щоб надсилати все підряд. Ви помітите це насамперед у тому, що довгі розмови продовжують працювати, а витрати залишаються помірними: менше тексту, менше токенів для оплати.