LE PARCOURS · Intermédiaire

RoPE encode la distance relative par une rotation géométrique

Plutôt que d’ajouter une position, RoPE fait tourner Requêtes et Clés. Testez sur un cadran pourquoi seul l’écart compte.

8 min de lectureTome I · chapitre 4 et 6

Sans ordre, un sac de mots

Sans indication d’ordre, l’attention voit un sac de mots : « Jean mange le lion » et « Le lion mange Jean » deviennent indiscernables. Les premiers modèles utilisaient des embeddings de position appris, figés à la longueur maximale vue à l’entraînement : au-delà du 512ᵉ jeton, le modèle était perdu.

La rotation comme position

L’encodage positionnel rotatif (RoPE, adopté par LLaMA, Mistral, Qwen et DeepSeek) lève ce verrou. Plutôt que d’additionner un vecteur de position à l’entrée, on applique une rotation d’angle m·θ directement aux vecteurs Requête et Clé. Le produit scalaire ne dépend alors plus que de la distance relative (n − m).

⟨R(mθ)·q, R(nθ)·k⟩ = ⟨q, R((n − m)θ)·k⟩ ∝ cos((n − m)θ)

Analogie du Tome 1 : les aiguilles sur un cadran

Imaginez chaque vecteur comme une aiguille sur un cadran. À la position m, on tourne l’aiguille d’un angle proportionnel à m.

Si deux mots séparés par 3 positions apparaissent aux indices 2 et 5, ou bien beaucoup plus loin, aux indices 10 002 et 10 005, l’écart angulaire entre leurs deux aiguilles reste rigoureusement identique. Le modèle généralise donc naturellement aux contextes longs.

À vous de jouer

Faites glisser les positions m et n, puis utilisez « Décaler ensemble » : les deux aiguilles tournent, mais l’arc qui les sépare et le cosinus ne bougent pas. Le cadran montre une seule paire de dimensions ; un vrai modèle en combine des dizaines avec des angles de base différents.

Atelier interactif

Cadran trigonométrique RoPE

Modèle jouet : il illustre le mécanisme avec de petits exemples, il ne mesure pas un modèle réel.

À retenir

  • RoPE agit par rotation sur les vecteurs Q et K avant le produit scalaire, sans modifier les vecteurs de Valeur V.
  • La dépendance exclusive à la distance relative (n − m) préserve les motifs syntaxiques même à plusieurs dizaines de milliers de jetons.
  • En pratique, cela évite un effondrement de la cohérence lorsque les conversations s’allongent.

VALIDATION

Vérifiez votre compréhension

À valider

Si l’on décale simultanément deux mots de +500 positions vers la fin d’un long document sous RoPE, qu’advient-il de l’angle relatif entre leurs vecteurs Q et K (à vecteur sémantique égal) ?