O que é uma janela de contexto?

A janela de contexto é a memória de trabalho da IA: a quantidade de texto que o modelo consegue ver ao mesmo tempo quando está a escrever a resposta. Conta tudo: a tua pergunta, os documentos que anexaste, mensagens anteriores na conversa e as instruções que o serviço adicionou.

A janela é grande, mas não é infinita, e o que não cabe simplesmente não existe para o modelo. É por isso que conversas longas podem dar a sensação de que a IA "esquece" o início: não é por descuido, é só porque o texto não coube.

Existem boas técnicas para contornar isto. O EuroWork resume as partes mais antigas de conversas longas à medida que avançam, para que o importante seja mantido sem precisar de guardar tudo palavra por palavra, e seleciona os trechos mais relevantes de documentos grandes em vez de enviar tudo. Tu notas isso sobretudo porque as conversas longas continuam a funcionar bem e porque o custo se mantém baixo: menos texto a entrar significa menos tokens para pagar.