EN COURS DE REDACTION
À force d'utiliser un LLM pour une tâche précise, votre prompt ressemble à un cahier des charges, avec des consignes pour le ton, la réponse type, des interdits, etc. Sauf que si vous oubliez de remettre vos consignes dans un prompt, le modèle reprend ses habitudes dès qu'il en a l'occasion.
Au lieu de répéter les mêmes consignes à chaque appel, le mieux serait de les intégrer directement au modèle.
C'est quoi le fine-tunning ?
En français, on pourrait dire "réglage fin". L'idée est de reprendre un modèle déjà entraîné, et de poursuivre son entraînement sur un petit jeu de données ciblées afin de modifier son comportement.
Imaginez un imitateur qui prépare un personnage. Il n'apprend rien sur le monde : il écoute des enregistrements du personnages pour s'imprégner de sa façon de parler (tournures, rythme, tics, etc.). Une fois terminé, il peut parler comme cette personne, peu importe le sujet. Il n'a pas gagné en connaissances, mais s'exprime différemment.
Avec le fine-tunning le modèle conserve tout ce qu'il a appris pendant son entraînement initial, et on ajuste les paramètres internes pour qu'il adapte un ton, un format de sortie, ou un jargon métier.
À noter
Le fine-tuning modifie la façon de répondre du modèle, pas ses connaissances du moment. Pour brancher un modèle sur des informations récentes ou privées qui évoluent, la bonne approche reste le RAG, dont nous avons parlé dans notre article C'est quoi le RAG ?. Le RAG donne des connaissances, le fine-tuning donne des réflexes.
Vous utilisez un modèle fine-tuné tous les jours
Un modèle de langage sorti de son entraînement initial ne sait faire qu'une chose : deviner la suite d'un texte. Il complète simplement du texte.
Le modèle est ensuite entraîné sur des milliers d'exemples de conversations rédigées par des humains. C'est ce qu'a fait OpenAI en 2022 pour transformer GPT-3 en assistant : les testeurs préféraient les réponses d'une version fine-tunées à celles du GPT-3 original. C'est comme ça que ChatGPT est né 🤗.
Vous pouvez le constater par vous-même : Mistral publie ses modèles ouverts en plusieurs versions sur Hugging Face. Prenez la famille Ministral 3, vous retrouverez Ministral-3-14B-Base-2512 (la machine à compléter), et Ministral-3-14B-Instruct-2512 qui est la version fine-tunée pour dialoguer.
La prochaine fois que Le Chat vous répond poliment, dites-vous que cette politesse est le fruit d'un fine-tuning.
