LE PARCOURS · Débutant
La géométrie de l’espace latent transforme le sens en vecteurs
Les embeddings placent les mots dans un espace où les relations deviennent des translations. Manipulez-les dans un observatoire 3D.
Du one-hot aux vecteurs denses
Un simple encodage one-hot attribue à chaque jeton un vecteur géant, tous orthogonaux entre eux. Mathématiquement, « chien » y est aussi éloigné de « loup » que de « table ». Pour capturer la sémantique, les réseaux apprennent des vecteurs denses : les embeddings, stockés dans une matrice de poids de taille vocabulaire × dimension.
Introduit par Word2Vec à travers une tâche proxy (deviner un mot à partir de son contexte), cet apprentissage organise les concepts dans l’espace. Les relations logiques deviennent des translations vectorielles, une propriété qui perdure et s’amplifie dans les états cachés des LLM modernes (on parle de représentation linéaire).
v(résultat) = v(Roi) − v(Homme) + v(Femme) ≈ v(Reine)
Analogie du Tome 1 : la carte du sens
Visualisez chaque embedding comme des coordonnées GPS sur une immense carte conceptuelle. Sur cette carte, « Paris » et « France » entretiennent le même vecteur de déplacement que « Rome » et « Italie ».
Contrairement aux vecteurs statiques de Word2Vec, les couches d’attention des Transformers produisent des embeddings contextuels : « banque » se déplace selon qu’elle côtoie « argent » ou « rivière ».
À vous de jouer
L’observatoire ci-dessous projette treize mots dans un espace 3D. Les coordonnées sont fictives et choisies pour que l’exemple soit lisible : un vrai espace compte des centaines de dimensions. Faites glisser la translation de 0 à 100 % et regardez quel mot devient le plus proche.
Atelier interactif
Observatoire vectoriel et arithmétique du sens
Modèle jouet : il illustre le mécanisme avec de petits exemples, il ne mesure pas un modèle réel.
À retenir
- La matrice d’embeddings fait partie des paramètres du modèle (taille du vocabulaire × dimension).
- La direction d’un vecteur porte l’information sémantique ; sa proximité angulaire (le cosinus) fonde la recherche vectorielle et le RAG.
- Deux modèles distincts ont des espaces vectoriels incompatibles : on ne compare jamais directement leurs embeddings.
VALIDATION
Vérifiez votre compréhension
Dans la technique de la « tâche proxy » utilisée par Word2Vec (CBOW ou Skip-gram), quel est le véritable objectif de l’entraînement ?