EL RECORRIDO · Avanzado
FlashAttention y el KV Cache dominan la jerarquía de memoria de la GPU
El verdadero cuello de botella es la memoria, no el cálculo. Compara los flujos HBM y SRAM y estima la VRAM de un modelo con un dimensionador.
La memoria antes que el cálculo
Almacenar un modelo de 70 mil millones de parámetros en precisión de 16 bits ya exige 70 × 2 bytes, es decir, unos 140 GB. Es más que los 80 GB de una GPU H100, y eso antes de añadir las activaciones, los gradientes, los estados del optimizador o el KV Cache en inferencia. Además, la atención clásica satura el ancho de banda al multiplicar los viajes de ida y vuelta a la HBM (grande pero lenta) para escribir en ella matrices N × N.
Tres palancas
FlashAttention reorganiza el cálculo exacto cargando teselas en la diminuta SRAM del chip: el producto escalar y el softmax se efectúan sin escribir nunca la matriz intermedia en la HBM, y las activaciones se recalculan sobre la marcha durante el paso hacia atrás. En inferencia, GQA y MQA (compartir las cabezas Clave y Valor) y la cuantización (INT8, NF4 en 4 bits) reducen drásticamente la huella en VRAM.
Analogías del Tomo 1: el almacén, el cobertizo y el escriba
FlashAttention: en lugar de enviar cada pieza a un gran almacén lejano (la HBM), se trabaja por cajas enteras directamente en un pequeño cobertizo rápido, junto a la grúa (la SRAM).
KV Cache y GQA: como un escriba que conserva sus notas pasadas en lugar de releerlo todo con cada palabra nueva, el KV Cache evita los recálculos. Con GQA, varios alumnos (las cabezas Q) comparten un único manual (K y V), lo que divide la memoria de la caché.
Ahora te toca
El primer panel compara los accesos a memoria; el segundo estima la VRAM necesaria para servir un modelo con un lote de 8 secuencias. El dimensionador da un orden de magnitud: no tiene en cuenta ni las activaciones, ni la fragmentación, ni el motor de inferencia.
Taller interactivo
Flujo HBM ↔ SRAM y dimensionador de VRAM
Modelo de juguete: ilustra el mecanismo con ejemplos pequeños y no mide un modelo real.
Lo esencial
- FlashAttention calcula exactamente la misma fórmula matemática, pero elimina el cuello de botella de entradas y salidas entre la HBM y la SRAM.
- El paso de MHA a GQA (adoptado por LLaMA 2 y 3) divide el tamaño del KV Cache por un factor de 4 a 8, lo que permite servir más contextos concurrentes.
- La cuantización a 4 bits (NF4, QLoRA) reduce el tamaño de los pesos en un factor de 4 respecto a FP16 y democratiza el uso local.
VALIDACIÓN
Comprueba lo que has entendido
¿Por qué FlashAttention es más rápido que la atención estándar, aunque a veces realice más operaciones matemáticas (recálculo en el paso hacia atrás)?