EL RECORRIDO · Avanzado

FlashAttention y el KV Cache dominan la jerarquía de memoria de la GPU

El verdadero cuello de botella es la memoria, no el cálculo. Compara los flujos HBM y SRAM y estima la VRAM de un modelo con un dimensionador.

9 min de lecturaTomo I · capítulo 6, 9, 10 y 12

La memoria antes que el cálculo

Almacenar un modelo de 70 mil millones de parámetros en precisión de 16 bits ya exige 70 × 2 bytes, es decir, unos 140 GB. Es más que los 80 GB de una GPU H100, y eso antes de añadir las activaciones, los gradientes, los estados del optimizador o el KV Cache en inferencia. Además, la atención clásica satura el ancho de banda al multiplicar los viajes de ida y vuelta a la HBM (grande pero lenta) para escribir en ella matrices N × N.

Tres palancas

FlashAttention reorganiza el cálculo exacto cargando teselas en la diminuta SRAM del chip: el producto escalar y el softmax se efectúan sin escribir nunca la matriz intermedia en la HBM, y las activaciones se recalculan sobre la marcha durante el paso hacia atrás. En inferencia, GQA y MQA (compartir las cabezas Clave y Valor) y la cuantización (INT8, NF4 en 4 bits) reducen drásticamente la huella en VRAM.

Analogías del Tomo 1: el almacén, el cobertizo y el escriba

FlashAttention: en lugar de enviar cada pieza a un gran almacén lejano (la HBM), se trabaja por cajas enteras directamente en un pequeño cobertizo rápido, junto a la grúa (la SRAM).

KV Cache y GQA: como un escriba que conserva sus notas pasadas en lugar de releerlo todo con cada palabra nueva, el KV Cache evita los recálculos. Con GQA, varios alumnos (las cabezas Q) comparten un único manual (K y V), lo que divide la memoria de la caché.

Ahora te toca

El primer panel compara los accesos a memoria; el segundo estima la VRAM necesaria para servir un modelo con un lote de 8 secuencias. El dimensionador da un orden de magnitud: no tiene en cuenta ni las activaciones, ni la fragmentación, ni el motor de inferencia.

Taller interactivo

Flujo HBM ↔ SRAM y dimensionador de VRAM

Modelo de juguete: ilustra el mecanismo con ejemplos pequeños y no mide un modelo real.

Lo esencial

  • FlashAttention calcula exactamente la misma fórmula matemática, pero elimina el cuello de botella de entradas y salidas entre la HBM y la SRAM.
  • El paso de MHA a GQA (adoptado por LLaMA 2 y 3) divide el tamaño del KV Cache por un factor de 4 a 8, lo que permite servir más contextos concurrentes.
  • La cuantización a 4 bits (NF4, QLoRA) reduce el tamaño de los pesos en un factor de 4 respecto a FP16 y democratiza el uso local.

VALIDACIÓN

Comprueba lo que has entendido

Por validar

¿Por qué FlashAttention es más rápido que la atención estándar, aunque a veces realice más operaciones matemáticas (recálculo en el paso hacia atrás)?