LLM, Large Language Model ou grand modèle de langage en français, est un modèle d'IA entraîné sur de très gros volumes de textes. Le but est qu'il puisse prédire la suite la plus probable d'un texte, un mot après l'autre.
Quelle différence entre LLM, Claude (ou encore ChatGPT) et IA générative ?
Une IA générative produit du contenu : texte, image ou encore son. Le LLM en fait partie : il génère du texte et du code.
Il ne faut pas voir ChatGPT ou encore Claude comme un LLM mais comme une application. En arrière-plan, ils font tourner des LLM qui peuvent être différents selon votre plan.
Je ne peux pas m'empêcher de parler d'agent IA. Ce dernier ajoute un harnais (outils, boucle) autour du LLM.
Comment fonctionne un LLM ?
Un modèle va traiter des tokens, c'est-à-dire des morceaux de mots. Il calcule la probabilité de chaque token possible, en sélectionne un et l'ajoute au texte puis recommence le cycle. La façon dont le token est choisi est réglée par la température.
Un LLM apprend en deux temps :
-
le préentraînement, où il lit énormément de texte sur le web et apprend à prédire la suite. Il ne suit pas encore très bien les consignes
-
l'affinage, c'est-à-dire un fine-tuning sur des exemples de conversations, puis l'apprentissage par renforcement à partir de retours humains (RLHF)
Un LLM va produire ce qui est plausible, pas forcément ce qui est vrai. On parlera alors d'hallucinations.
La taille d'un LLM se compte en paramètres : des milliards de valeurs numériques. Plus il y a de paramètres, plus il faut de mémoire (j'en ai fait les frais en local 😅).
Comptez environ 2 Go de mémoire par milliard de paramètres ; en version quantifiée, c'est moins. C'est géré par la mémoire GPU et déborde sur la RAM si besoin.
