Ce este o fereastră de context

Fereastra de context este memoria de lucru a AI-ului: cantitatea de text pe care modelul o poate vedea simultan când scrie răspunsul. Totul contează: întrebarea ta, documentele pe care le-ai atașat, mesajele anterioare din conversație și instrucțiunile pe care serviciul le-a adăugat.

Fereastra este mare, dar nu infinită, iar ceea ce nu încape pur și simplu nu există pentru model. De aceea, conversațiile lungi pot da senzația că AI-ul „uită” începutul: nu o face din neglijență, textul pur și simplu nu a încăput.

Există tehnici bune pentru a rezolva asta. EuroWork rezumă periodic părțile mai vechi ale conversațiilor lungi, astfel încât informațiile importante să rămână accesibile fără a fi nevoie să încapă totul cuvânt cu cuvânt, și selectează cele mai relevante fragmente din documentele mari, în loc să trimită totul. Observi asta cel mai mult prin faptul că firele lungi continuă să funcționeze bine și că costurile rămân rezonabile: mai puțin text trimis înseamnă mai puțini tokeni de plătit.