LE PARCOURS · Débutant

La géométrie de l’espace latent transforme le sens en vecteurs

Les embeddings placent les mots dans un espace où les relations deviennent des translations. Manipulez-les dans un observatoire 3D.

7 min de lectureTome I · chapitre 3 et 11

Du one-hot aux vecteurs denses

Un simple encodage one-hot attribue à chaque jeton un vecteur géant, tous orthogonaux entre eux. Mathématiquement, « chien » y est aussi éloigné de « loup » que de « table ». Pour capturer la sémantique, les réseaux apprennent des vecteurs denses : les embeddings, stockés dans une matrice de poids de taille vocabulaire × dimension.

Introduit par Word2Vec à travers une tâche proxy (deviner un mot à partir de son contexte), cet apprentissage organise les concepts dans l’espace. Les relations logiques deviennent des translations vectorielles, une propriété qui perdure et s’amplifie dans les états cachés des LLM modernes (on parle de représentation linéaire).

v(résultat) = v(Roi) − v(Homme) + v(Femme) ≈ v(Reine)

Analogie du Tome 1 : la carte du sens

Visualisez chaque embedding comme des coordonnées GPS sur une immense carte conceptuelle. Sur cette carte, « Paris » et « France » entretiennent le même vecteur de déplacement que « Rome » et « Italie ».

Contrairement aux vecteurs statiques de Word2Vec, les couches d’attention des Transformers produisent des embeddings contextuels : « banque » se déplace selon qu’elle côtoie « argent » ou « rivière ».

À vous de jouer

L’observatoire ci-dessous projette treize mots dans un espace 3D. Les coordonnées sont fictives et choisies pour que l’exemple soit lisible : un vrai espace compte des centaines de dimensions. Faites glisser la translation de 0 à 100 % et regardez quel mot devient le plus proche.

Atelier interactif

Observatoire vectoriel et arithmétique du sens

Modèle jouet : il illustre le mécanisme avec de petits exemples, il ne mesure pas un modèle réel.

À retenir

  • La matrice d’embeddings fait partie des paramètres du modèle (taille du vocabulaire × dimension).
  • La direction d’un vecteur porte l’information sémantique ; sa proximité angulaire (le cosinus) fonde la recherche vectorielle et le RAG.
  • Deux modèles distincts ont des espaces vectoriels incompatibles : on ne compare jamais directement leurs embeddings.

VALIDATION

Vérifiez votre compréhension

À valider

Dans la technique de la « tâche proxy » utilisée par Word2Vec (CBOW ou Skip-gram), quel est le véritable objectif de l’entraînement ?