Шта је контекстни прозор?

Контекстни прозор је радно памћење вештачке интелигенције: количина текста коју модел може да види истовремено док пише одговор. Броји се све: ваше питање, документи које сте приложили, претходне поруке у разговору и упутства која је услуга додала.

Прозор је велики, али не и бесконачан, а оно што не стане једноставно не постоји за модел. Зато дуги разговори могу изгледати као да вештачка интелигенција „заборавља“ почетак: не ради то из немара, текст једноставно није могао да стане.

Постоје добре технике које то решавају. EuroWork континуирано сумира старије делове дугих разговора, тако да битне информације прате ток, а да не мора све да се задржи дословно, и бира најрелевантније делове из великих докумената уместо да шаље све одједном. То највише примећујете по томе што дуге нити и даље функционишу, а трошкови остају нижи: мање текста улази значи мање токена за плаћање.