O PERCURSO · Avançado
FlashAttention e o cache KV domam a hierarquia de memória da GPU
O verdadeiro gargalo é a memória, não o cálculo. Compare os fluxos HBM e SRAM e depois estime a VRAM de um modelo com um dimensionador.
A memória antes do cálculo
Armazenar um modelo de 70 bilhões de parâmetros em precisão de 16 bits já exige 70 × 2 bytes, ou cerca de 140 GB. É mais que os 80 GB de uma GPU H100, e isso antes de somar as ativações, os gradientes, os estados do otimizador ou o cache KV na inferência. Além disso, a atenção clássica satura a largura de banda ao multiplicar as idas e vindas à HBM (grande, porém lenta) para gravar matrizes N × N.
Três alavancas
O FlashAttention reorganiza o cálculo exato carregando blocos na minúscula SRAM do chip: o produto escalar e o softmax são feitos sem nunca gravar a matriz intermediária na HBM, e as ativações são então recalculadas sob demanda na passagem de volta. Na inferência, GQA e MQA (compartilhamento das cabeças Chave e Valor) e a quantização (INT8, NF4 em 4 bits) reduzem drasticamente a pegada em VRAM.
Analogias do Volume 1: o armazém, o galpão e o escriba
FlashAttention: em vez de despachar cada peça para um grande armazém distante (a HBM), trabalha-se por caixas inteiras diretamente em um pequeno galpão rápido, ao lado do guindaste (a SRAM).
Cache KV e GQA: como um escriba que guarda suas anotações passadas em vez de reler tudo a cada nova palavra, o cache KV evita recálculos. Com o GQA, vários alunos (as cabeças Q) dividem um único manual (K e V), o que reduz a memória do cache.
Sua vez
O primeiro painel compara os acessos à memória; o segundo estima a VRAM para atender um modelo com um lote de 8 sequências. O dimensionador dá uma ordem de grandeza: ele não leva em conta as ativações, a fragmentação nem o motor de inferência.
Oficina interativa
Fluxo HBM ↔ SRAM e dimensionador de VRAM
Modelo de brinquedo: ilustra o mecanismo com exemplos pequenos e não mede um modelo real.
Para guardar
- O FlashAttention calcula exatamente a mesma fórmula matemática, mas elimina o gargalo de entrada e saída entre a HBM e a SRAM.
- A passagem de MHA para GQA (adotada pelo LLaMA 2 e 3) divide o tamanho do cache KV por um fator de 4 a 8, o que permite atender mais contextos simultâneos.
- A quantização em 4 bits (NF4, QLoRA) reduz o tamanho dos pesos por um fator de 4 em relação ao FP16 e democratiza o uso local.
VALIDAÇÃO
Verifique sua compreensão
Por que o FlashAttention é mais rápido que a atenção padrão, embora às vezes execute mais operações matemáticas (recálculo na passagem de volta)?