La fenêtre de contexte est la quantité maximale d'informations (en texte) qu'un modèle prend en compte en une seule fois. Elle se mesure en tokens. Tout ce que le modèle utilise pour répondre en fait partie : vos prompts, consignes, l'historique de la conversation, les documents joints, etc.
Que se passe-t-il quand la fenêtre de contexte est pleine ?
Aujourd'hui, les chats avec Claude, ChatGPT ou autre, chaque message et chaque réponse s'ajoutent à la fenêtre de contexte. Quand la fenêtre de contexte commence à être à sa limite, les agents comme Claude Code remplacent l'historique par un résumé automatiquement. Attention, c'est bien un résumé, et une consigne précise peut se perdre.
Taille de la fenêtre de contexte
Les modèles les plus puissants acceptent via l'API environ 1 000 000 de tokens (comme Opus 5, certains modèles Gemini), voire 1 050 000 pour GPT-6 Astra.
Attention aux grandes fenêtres de contexte
Le modèle perd en précision au fur et à mesure que la fenêtre se remplit. Anthropic parle même de context rot (pourrissement du contexte), et une étude de 2023 appelée Lost in the Middle montre que les modèles sont plus précis au début et à la fin d'un long contexte, et qu'au milieu les informations ont plus de chances de se perdre.
Attention : quand vous passez par l'API, l'historique est refacturé à chaque message (les tokens ont un prix !).
