EL RECORRIDO · Intermedio

La atención multicabeza conecta cada palabra con el contexto en paralelo

Consultas, claves y valores: observa cómo cada token interroga a los demás y por qué se divide por √d_k antes del softmax.

8 min de lecturaTomo I · capítulo 4

Romper la lectura secuencial

Las redes recurrentes (RNN) leían el texto palabra por palabra y sufrían amnesia en las frases largas (desvanecimiento del gradiente), además de aprovechar mal las GPU. El Transformer rompe esta secuencialidad gracias a la autoatención: cada token dialoga simultáneamente con todos los demás, mediante una serie de operaciones matriciales.

Consulta, Clave, Valor

Para cada cabeza de atención, tres proyecciones lineales dotan a cada token de una Consulta (Q), una Clave (K) y un Valor (V). La división por √d_k evita que los productos escalares se vuelvan demasiado grandes y asfixien los gradientes del softmax. Apilar varias cabezas en paralelo permite seguir a la vez la gramática, la polisemia y las correferencias.

Attention(Q, K, V) = softmax( Q·Kᵀ / √d_k ) · V

Analogía del Tomo 1: la búsqueda en la biblioteca

La Consulta es tu pregunta mental (« busco un libro sobre los planetas »). La Clave es la etiqueta en el lomo de las obras (« Astronomía », « Cocina », « Historia »). El Valor es el contenido del libro que se extrae cuando la Consulta y la Clave concuerdan.

Con la atención multicabeza, una palabra polisémica como « bank » se lee de varias maneras: una cabeza la conecta con « The » (sintaxis), otra con « money » (sentido financiero), una tercera con « river » (sentido natural).

Ahora te toca

Elige una frase, una cabeza y una palabra Consulta. Después pasa al modo « sin división »: con d_k = 16 en este ejemplo, las puntuaciones se multiplican por 4 y el softmax se concentra en un único pico. Las puntuaciones utilizadas son pequeños ejemplos escritos a mano, no las de un modelo real.

Taller interactivo

Inspector Q·K·V y saturación del softmax

Modelo de juguete: ilustra el mecanismo con ejemplos pequeños y no mide un modelo real.

Lo esencial

  • Los pesos de atención forman una distribución de probabilidad (suma igual a 1 por fila) que determina la proporción de cada Valor agregado.
  • En un decodificador generativo (GPT, LLaMA), una máscara causal impide que cada token consulte las palabras futuras.
  • La atención multicabeza aprende subespacios distintos (sintaxis, sentido, correferencias) sin perder el paralelismo de las GPU.

VALIDACIÓN

Comprueba lo que has entendido

Por validar

¿Por qué se divide el producto escalar Q·Kᵀ por √d_k antes de aplicar la función softmax?