EL RECORRIDO · Intermedio
RoPE codifica la distancia relativa mediante una rotación geométrica
En lugar de sumar una posición, RoPE hace girar Consultas y Claves. Comprueba en un cuadrante por qué solo cuenta la diferencia.
Sin orden, una bolsa de palabras
Sin una indicación de orden, la atención ve una bolsa de palabras: « Juan come al león » y « El león come a Juan » se vuelven indistinguibles. Los primeros modelos usaban embeddings de posición aprendidos, fijados a la longitud máxima vista durante el entrenamiento: más allá del token 512, el modelo se perdía.
La rotación como posición
La codificación posicional rotatoria (RoPE, adoptada por LLaMA, Mistral, Qwen y DeepSeek) elimina este obstáculo. En lugar de sumar un vector de posición a la entrada, se aplica una rotación de ángulo m·θ directamente a los vectores Consulta y Clave. El producto escalar ya solo depende de la distancia relativa (n − m).
⟨R(mθ)·q, R(nθ)·k⟩ = ⟨q, R((n − m)θ)·k⟩ ∝ cos((n − m)θ)
Analogía del Tomo 1: las agujas de un cuadrante
Imagina cada vector como una aguja en un cuadrante. En la posición m, se gira la aguja un ángulo proporcional a m.
Si dos palabras separadas por 3 posiciones aparecen en los índices 2 y 5, o bien mucho más lejos, en los índices 10 002 y 10 005, la separación angular entre sus dos agujas sigue siendo rigurosamente idéntica. El modelo generaliza así de forma natural a los contextos largos.
Ahora te toca
Desliza las posiciones m y n y usa « Desplazar juntas »: las dos agujas giran, pero el arco que las separa y el coseno no cambian. El cuadrante muestra un único par de dimensiones; un modelo real combina decenas de ellos con ángulos base diferentes.
Taller interactivo
Esfera trigonométrica de RoPE
Modelo de juguete: ilustra el mecanismo con ejemplos pequeños y no mide un modelo real.
Lo esencial
- RoPE actúa por rotación sobre los vectores Q y K antes del producto escalar, sin modificar los vectores de Valor V.
- La dependencia exclusiva de la distancia relativa (n − m) preserva los patrones sintácticos incluso a varias decenas de miles de tokens.
- En la práctica, esto evita un colapso de la coherencia cuando las conversaciones se alargan.
VALIDACIÓN
Comprueba lo que has entendido
Si se desplazan simultáneamente dos palabras +500 posiciones hacia el final de un documento largo con RoPE, ¿qué ocurre con el ángulo relativo entre sus vectores Q y K (a igual vector semántico)?