Un LLM ne voit pas du texte mais des tokens, et les prix des API et les fenêtres de contexte se comptent en tokens.
Qu'est-ce qu'un token ?
Avant d'atteindre le LLM, le texte passe par un tokenizer qui va le découper en unités : les tokens. Mais rien ne se fait au hasard : le découpage a été appris sur des quantités importantes de textes, en fusionnant les suites de caractères les plus fréquentes dans le but d'en faire des tokens.
Pour donner un ordre de grandeur : pour l'anglais, un token équivaut à environ quatre caractères. Un peu plus pour le français.
Des tokens et des prix
Vous le verrez à chaque sortie de modèle : le prix des API se calcule au million de tokens, et le tarif est différent entre ce que l'on envoie (prompt) et la réponse générée. Le tarif de la sortie est plusieurs fois plus cher que le tarif de l'entrée.
Il est important de savoir que les modèles qui raisonnent avant de répondre produisent des tokens de réflexion comptés comme des tokens de sortie.
La fenêtre de contexte, la quantité de texte qu'un modèle peut prendre en compte d'un coup, se mesure en tokens. Et les tokens par seconde correspondent à la vitesse de génération.
Compter les tokens
OpenAI propose un tokenizer en ligne, Anthropic une API de comptage. Et si vous êtes d'humeur à coder, la bibliothèque tiktoken en Python est faite pour vous.
Attention : chaque fournisseur a son propre tokenizer.
