O PERCURSO · Intermediário
A atenção multicabeça liga cada palavra ao contexto em paralelo
Consultas, chaves e valores: veja como cada token interroga os demais e por que se divide por √d_k antes do softmax.
Quebrar a leitura sequencial
As redes recorrentes (RNN) liam o texto palavra por palavra e sofriam de amnésia em frases longas (gradiente evanescente), além de subutilizar as GPUs. O Transformer quebra essa sequencialidade graças à autoatenção: cada token dialoga simultaneamente com todos os outros, em uma série de operações matriciais.
Consulta, Chave, Valor
Para cada cabeça de atenção, três projeções lineares dotam cada token de uma Consulta (Q), de uma Chave (K) e de um Valor (V). A divisão por √d_k impede que os produtos escalares fiquem grandes demais e asfixiem os gradientes do softmax. Empilhar várias cabeças em paralelo permite acompanhar ao mesmo tempo a gramática, a polissemia e as correferências.
Attention(Q, K, V) = softmax( Q·Kᵀ / √d_k ) · V
Analogia do Volume 1: a pesquisa na biblioteca
A Consulta é a sua pergunta mental (« procuro um livro sobre planetas »). A Chave é a etiqueta na lombada das obras (« Astronomia », « Culinária », « História »). O Valor é o conteúdo do livro que se extrai quando a Consulta e a Chave combinam.
Com a atenção multicabeça, uma palavra polissêmica como « bank » é lida de várias maneiras: uma cabeça a liga a « The » (sintaxe), outra a « money » (sentido financeiro), uma terceira a « river » (sentido natural).
Sua vez
Escolha uma frase, uma cabeça e uma palavra de Consulta. Depois passe para o modo « sem divisão »: com d_k = 16 neste exemplo, os scores são multiplicados por 4 e o softmax se concentra em um único pico. Os scores usados são pequenos exemplos escritos à mão, não os de um modelo real.
Oficina interativa
Inspetor Q·K·V e saturação do softmax
Modelo de brinquedo: ilustra o mecanismo com exemplos pequenos e não mede um modelo real.
Para guardar
- Os pesos de atenção formam uma distribuição de probabilidade (soma igual a 1 por linha) que dita a proporção de cada Valor agregado.
- Em um decodificador generativo (GPT, LLaMA), uma máscara causal impede cada token de consultar as palavras futuras.
- A atenção multicabeça aprende subespaços distintos (sintaxe, sentido, correferências) sem perder o paralelismo das GPUs.
VALIDAÇÃO
Verifique sua compreensão
Por que se divide o produto escalar Q·Kᵀ por √d_k antes de aplicar a função softmax?