Un embedding est une liste de nombres qu'une IA calcule depuis un contenu, dans le but d'en représenter le sens sous forme de vecteur. Deux textes auront des listes similaires si leurs sens sont proches, ce qui permet de retrouver une information sans utiliser les mots exacts, mais le sens.
Comment fonctionne l'embedding ?
Le calcul est fait par des modèles d'embedding, pour la plupart distincts du LLM qui rédigera les réponses. Leur rôle est de lire le texte découpé en tokens et de créer un vecteur, les fameuses listes de nombres 😁.
La longueur du vecteur dépend du modèle : on peut aller de quelques centaines de nombres pour les plus petits modèles à plusieurs milliers pour les plus gros.
La particularité de l'embedding, c'est que si des mots sont différents mais que des phrases ont un sens proche, les vecteurs seront voisins. Cette proximité est mesurée avec la similarité cosinus, un score allant de -1 à 1, et plus on se rapproche de 1, plus les deux textes sont proches.
À quoi sert l'embedding ?
Pour répondre clairement : la recherche par sens (sémantique). C'est l'embedding qui permet la partie « retrouver » du RAG. Dans ce dernier, les documents sont découpés en passages, avec chevauchement pour ne pas couper une idée en plein milieu. Pourquoi découper les documents ? Un modèle n'accepte qu'une longueur limitée.
Les vecteurs sont stockés dans une base comme Chroma. Le principe est simple : chaque question est transformée en vecteur et on transmet au LLM les passages les plus proches. N'hésitez pas à faire un tour sur notre guide.
On retrouve d'autres utilisations comme le classement de textes ou la recommandation de contenus.
Le choix du modèle
Attention, on ne compare des vecteurs que s'ils viennent d'un même modèle. On retrouve des modèles comme Voyage AI ou des modèles open weight à faire tourner avec Ollama.
Regardez bien si le modèle choisi supporte le multilingue en cas d'embedding français. Ça évitera les mauvaises surprises 😛.
