EL RECORRIDO · Intermedio
La atención multicabeza conecta cada palabra con el contexto en paralelo
Consultas, claves y valores: observa cómo cada token interroga a los demás y por qué se divide por √d_k antes del softmax.
Romper la lectura secuencial
Las redes recurrentes (RNN) leían el texto palabra por palabra y sufrían amnesia en las frases largas (desvanecimiento del gradiente), además de aprovechar mal las GPU. El Transformer rompe esta secuencialidad gracias a la autoatención: cada token dialoga simultáneamente con todos los demás, mediante una serie de operaciones matriciales.
Consulta, Clave, Valor
Para cada cabeza de atención, tres proyecciones lineales dotan a cada token de una Consulta (Q), una Clave (K) y un Valor (V). La división por √d_k evita que los productos escalares se vuelvan demasiado grandes y asfixien los gradientes del softmax. Apilar varias cabezas en paralelo permite seguir a la vez la gramática, la polisemia y las correferencias.
Attention(Q, K, V) = softmax( Q·Kᵀ / √d_k ) · V
Analogía del Tomo 1: la búsqueda en la biblioteca
La Consulta es tu pregunta mental (« busco un libro sobre los planetas »). La Clave es la etiqueta en el lomo de las obras (« Astronomía », « Cocina », « Historia »). El Valor es el contenido del libro que se extrae cuando la Consulta y la Clave concuerdan.
Con la atención multicabeza, una palabra polisémica como « bank » se lee de varias maneras: una cabeza la conecta con « The » (sintaxis), otra con « money » (sentido financiero), una tercera con « river » (sentido natural).
Ahora te toca
Elige una frase, una cabeza y una palabra Consulta. Después pasa al modo « sin división »: con d_k = 16 en este ejemplo, las puntuaciones se multiplican por 4 y el softmax se concentra en un único pico. Las puntuaciones utilizadas son pequeños ejemplos escritos a mano, no las de un modelo real.
Taller interactivo
Inspector Q·K·V y saturación del softmax
Modelo de juguete: ilustra el mecanismo con ejemplos pequeños y no mide un modelo real.
Lo esencial
- Los pesos de atención forman una distribución de probabilidad (suma igual a 1 por fila) que determina la proporción de cada Valor agregado.
- En un decodificador generativo (GPT, LLaMA), una máscara causal impide que cada token consulte las palabras futuras.
- La atención multicabeza aprende subespacios distintos (sintaxis, sentido, correferencias) sin perder el paralelismo de las GPU.
VALIDACIÓN
Comprueba lo que has entendido
¿Por qué se divide el producto escalar Q·Kᵀ por √d_k antes de aplicar la función softmax?