Co je kontextové okno?

Kontextové okno je pracovní paměť AI: množství textu, které model vidí najednou, když píše odpověď. Počítá se do něj úplně všechno: tvoje otázka, dokumenty, které jsi přiložil, předchozí zprávy v konverzaci i instrukce, které služba přidala.

Okno je velké, ale ne nekonečné, a to, co se do něj nevejde, pro model neexistuje. Proto se při dlouhých konverzacích může zdát, že AI „zapomíná“ začátek: nedělá to z nedbalosti, text se tam prostě nevešel.

Existují ale dobré techniky, jak to řešit. EuroWork průběžně shrnuje starší části dlouhých konverzací, aby se to podstatné dostalo dál, aniž by se muselo vejít všechno doslova, a vybírá jen ty nejrelevantnější úseky z velkých dokumentů, místo aby posílal všechno najednou. Nejvíc si toho všimneš tak, že dlouhé vlákna dál fungují, a že se náklady drží na uzdě: méně textu dovnitř znamená méně tokenů k zaplacení.