LE PARCOURS · Intermédiaire

L’attention multi-têtes relie chaque mot au contexte en parallèle

Requêtes, clés et valeurs : voyez comment chaque jeton interroge les autres, et pourquoi on divise par √d_k avant le softmax.

8 min de lectureTome I · chapitre 4

Briser la lecture séquentielle

Les réseaux récurrents (RNN) lisaient le texte mot à mot et souffraient d’amnésie sur les longues phrases (gradient évanescent), tout en sous-exploitant les GPU. Le Transformer brise cette séquentialité grâce à l’auto-attention : chaque jeton dialogue simultanément avec tous les autres, en une série d’opérations matricielles.

Requête, Clé, Valeur

Pour chaque tête d’attention, trois projections linéaires dotent chaque jeton d’une Requête (Q), d’une Clé (K) et d’une Valeur (V). La division par √d_k empêche les produits scalaires de devenir trop grands et d’asphyxier les gradients du softmax. Empiler plusieurs têtes en parallèle permet de suivre à la fois la grammaire, la polysémie et les coréférences.

Attention(Q, K, V) = softmax( Q·Kᵀ / √d_k ) · V

Analogie du Tome 1 : la recherche en bibliothèque

La Requête est votre question mentale (« je cherche un livre sur les planètes »). La Clé est l’étiquette sur la tranche des ouvrages (« Astronomie », « Cuisine », « Histoire »). La Valeur est le contenu du livre que l’on extrait lorsque la Requête et la Clé concordent.

Avec l’attention multi-têtes, un mot polysémique comme « bank » est lu de plusieurs façons : une tête le relie à « The » (syntaxe), une autre à « money » (sens financier), une troisième à « river » (sens naturel).

À vous de jouer

Choisissez une phrase, une tête et un mot Requête. Puis passez en mode « sans division » : avec d_k = 16 dans cet exemple, les scores sont multipliés par 4 et le softmax se concentre sur un seul pic. Les scores utilisés sont de petits exemples écrits à la main, pas ceux d’un modèle réel.

Atelier interactif

Inspecteur Q·K·V et saturation du softmax

Modèle jouet : il illustre le mécanisme avec de petits exemples, il ne mesure pas un modèle réel.

À retenir

  • Les poids d’attention forment une distribution de probabilité (somme égale à 1 par ligne) qui dicte la proportion de chaque Valeur agrégée.
  • Dans un décodeur génératif (GPT, LLaMA), un masque causal interdit à chaque jeton de consulter les mots futurs.
  • L’attention multi-têtes apprend des sous-espaces distincts (syntaxe, sens, coréférences) sans perdre le parallélisme des GPU.

VALIDATION

Vérifiez votre compréhension

À valider

Pourquoi divise-t-on le produit scalaire Q·Kᵀ par √d_k avant d’appliquer la fonction softmax ?