O PERCURSO · Avançado

FlashAttention e o cache KV domam a hierarquia de memória da GPU

O verdadeiro gargalo é a memória, não o cálculo. Compare os fluxos HBM e SRAM e depois estime a VRAM de um modelo com um dimensionador.

9 min de leituraVolume I · capítulo 6, 9, 10 e 12

A memória antes do cálculo

Armazenar um modelo de 70 bilhões de parâmetros em precisão de 16 bits já exige 70 × 2 bytes, ou cerca de 140 GB. É mais que os 80 GB de uma GPU H100, e isso antes de somar as ativações, os gradientes, os estados do otimizador ou o cache KV na inferência. Além disso, a atenção clássica satura a largura de banda ao multiplicar as idas e vindas à HBM (grande, porém lenta) para gravar matrizes N × N.

Três alavancas

O FlashAttention reorganiza o cálculo exato carregando blocos na minúscula SRAM do chip: o produto escalar e o softmax são feitos sem nunca gravar a matriz intermediária na HBM, e as ativações são então recalculadas sob demanda na passagem de volta. Na inferência, GQA e MQA (compartilhamento das cabeças Chave e Valor) e a quantização (INT8, NF4 em 4 bits) reduzem drasticamente a pegada em VRAM.

Analogias do Volume 1: o armazém, o galpão e o escriba

FlashAttention: em vez de despachar cada peça para um grande armazém distante (a HBM), trabalha-se por caixas inteiras diretamente em um pequeno galpão rápido, ao lado do guindaste (a SRAM).

Cache KV e GQA: como um escriba que guarda suas anotações passadas em vez de reler tudo a cada nova palavra, o cache KV evita recálculos. Com o GQA, vários alunos (as cabeças Q) dividem um único manual (K e V), o que reduz a memória do cache.

Sua vez

O primeiro painel compara os acessos à memória; o segundo estima a VRAM para atender um modelo com um lote de 8 sequências. O dimensionador dá uma ordem de grandeza: ele não leva em conta as ativações, a fragmentação nem o motor de inferência.

Oficina interativa

Fluxo HBM ↔ SRAM e dimensionador de VRAM

Modelo de brinquedo: ilustra o mecanismo com exemplos pequenos e não mede um modelo real.

Para guardar

  • O FlashAttention calcula exatamente a mesma fórmula matemática, mas elimina o gargalo de entrada e saída entre a HBM e a SRAM.
  • A passagem de MHA para GQA (adotada pelo LLaMA 2 e 3) divide o tamanho do cache KV por um fator de 4 a 8, o que permite atender mais contextos simultâneos.
  • A quantização em 4 bits (NF4, QLoRA) reduz o tamanho dos pesos por um fator de 4 em relação ao FP16 e democratiza o uso local.

VALIDAÇÃO

Verifique sua compreensão

A validar

Por que o FlashAttention é mais rápido que a atenção padrão, embora às vezes execute mais operações matemáticas (recálculo na passagem de volta)?