O PERCURSO · Intermediário
O RoPE codifica a distância relativa por uma rotação geométrica
Em vez de somar uma posição, o RoPE faz girar Consultas e Chaves. Teste em um mostrador por que só a diferença importa.
Sem ordem, um saco de palavras
Sem nenhuma indicação de ordem, a atenção enxerga um saco de palavras: « Jean mange le lion » e « Le lion mange Jean » ficam indistinguíveis. Os primeiros modelos usavam embeddings de posição aprendidos, fixados no comprimento máximo visto no treinamento: depois do 512º token, o modelo ficava perdido.
A rotação como posição
A codificação posicional rotativa (RoPE, adotada por LLaMA, Mistral, Qwen e DeepSeek) remove essa trava. Em vez de somar um vetor de posição à entrada, aplica-se uma rotação de ângulo m·θ diretamente aos vetores Consulta e Chave. O produto escalar passa então a depender apenas da distância relativa (n − m).
⟨R(mθ)·q, R(nθ)·k⟩ = ⟨q, R((n − m)θ)·k⟩ ∝ cos((n − m)θ)
Analogia do Volume 1: os ponteiros de um mostrador
Imagine cada vetor como um ponteiro em um mostrador. Na posição m, gira-se o ponteiro por um ângulo proporcional a m.
Se duas palavras separadas por 3 posições aparecem nos índices 2 e 5, ou bem mais adiante, nos índices 10 002 e 10 005, a diferença angular entre seus dois ponteiros permanece rigorosamente idêntica. O modelo generaliza, portanto, naturalmente para contextos longos.
Sua vez
Arraste as posições m e n e depois use « Deslocar juntos »: os dois ponteiros giram, mas o arco que os separa e o cosseno não mudam. O mostrador exibe um único par de dimensões; um modelo real combina dezenas deles, com ângulos de base diferentes.
Oficina interativa
Mostrador trigonométrico do RoPE
Modelo de brinquedo: ilustra o mecanismo com exemplos pequenos e não mede um modelo real.
Para guardar
- O RoPE age por rotação sobre os vetores Q e K antes do produto escalar, sem modificar os vetores de Valor V.
- A dependência exclusiva da distância relativa (n − m) preserva os padrões sintáticos mesmo com dezenas de milhares de tokens.
- Na prática, isso evita um colapso da coerência quando as conversas se alongam.
VALIDAÇÃO
Verifique sua compreensão
Se deslocarmos simultaneamente duas palavras em +500 posições rumo ao fim de um documento longo sob RoPE, o que acontece com o ângulo relativo entre seus vetores Q e K (com o mesmo vetor semântico)?