Che cos'è una finestra di contesto?

La finestra di contesto è la memoria di lavoro dell'AI: la quantità di testo che il modello può vedere contemporaneamente mentre scrive la sua risposta. Viene conteggiato tutto: la tua domanda, i documenti che hai allegato, i messaggi precedenti nella conversazione e le istruzioni aggiunte dal servizio.

La finestra è ampia, ma non infinita, e ciò che non ci sta semplicemente non esiste per il modello. Ecco perché le conversazioni lunghe possono dare l'impressione che l'AI "dimentichi" l'inizio: non lo fa per distrazione, semplicemente il testo non ci stava più.

Esistono però buone tecniche per ovviare al problema. EuroWork riassume continuamente le parti più vecchie delle conversazioni lunghe, in modo che le informazioni importanti rimangano senza dover conservare tutto parola per parola, e seleziona i paragrafi più rilevanti dai documenti grandi invece di inviarli per intero. Lo noterai soprattutto perché le discussioni lunghe continuano a funzionare bene e perché i costi rimangono contenuti: meno testo in ingresso significa meno token da pagare.