Le RAG (Retrieval-Augmented Generation), ou génération augmentée par récupération en français, permet à l'IA de répondre à partir de documents. Pas besoin de réentraîner l'IA : elle retrouve les passages utiles dans une base de documents pour les ajouter au prompt.
Comment fonctionne le RAG ?
Tout d'abord, nous avons un guide sur le RAG 😎. Dans ce carnet, on s'amuse avec ChromaDB et Mistral pour tester le RAG.
Vos documents sont découpés en plusieurs parties, et chacune de ces parties est transformée en embedding, c'est-à-dire une liste de nombres qui représente le sens du fragment. Votre question est aussi convertie de cette manière, et les fragments les plus proches sont injectés dans le prompt, ce qui permet au LLM de répondre à partir d'informations à jour et documentées.
Le RAG permet alors de réduire les hallucinations.
RAG ou fine-tuning : quelle différence ?
Quand le fine-tuning modifie le modèle lui-même pour imposer un ton ou un format, le RAG permet de mettre simplement à jour la base de documents.
