LE PARCOURS · Avancé
FlashAttention et le KV Cache domptent la hiérarchie mémoire du GPU
Le vrai goulot est la mémoire, pas le calcul. Comparez les flux HBM et SRAM, puis estimez la VRAM d’un modèle avec un dimensionneur.
La mémoire avant le calcul
Stocker un modèle de 70 milliards de paramètres en précision 16 bits exige déjà 70 × 2 octets, soit environ 140 Go. C’est plus que les 80 Go d’un GPU H100, et ce avant d’ajouter les activations, les gradients, les états de l’optimiseur ou le KV Cache en inférence. De plus, l’attention classique sature la bande passante en multipliant les allers-retours vers la HBM (grande mais lente) pour y écrire des matrices N × N.
Trois leviers
FlashAttention réorganise le calcul exact en chargeant des tuiles dans la minuscule SRAM de la puce : produit scalaire et softmax sont effectués sans jamais écrire la matrice intermédiaire en HBM, puis les activations sont recalculées à la volée lors du passage arrière. À l’inférence, GQA et MQA (partage des têtes Clé et Valeur) et la quantification (INT8, NF4 en 4 bits) réduisent drastiquement l’empreinte en VRAM.
Analogies du Tome 1 : l’entrepôt, le hangar et le scribe
FlashAttention : plutôt que d’expédier chaque pièce vers un grand entrepôt éloigné (la HBM), on travaille par caisses entières directement dans un petit hangar rapide, à côté de la grue (la SRAM).
KV Cache et GQA : tel un scribe qui conserve ses notes passées au lieu de tout relire à chaque nouveau mot, le KV Cache évite les recalculs. Avec GQA, plusieurs élèves (les têtes Q) se partagent un seul manuel (K et V), ce qui divise la mémoire du cache.
À vous de jouer
Le premier panneau compare les accès mémoire ; le second estime la VRAM pour servir un modèle avec un lot de 8 séquences. Le dimensionneur donne un ordre de grandeur : il ne tient compte ni des activations, ni de la fragmentation, ni du moteur d’inférence.
Atelier interactif
Flux HBM ↔ SRAM et dimensionneur de VRAM
Modèle jouet : il illustre le mécanisme avec de petits exemples, il ne mesure pas un modèle réel.
À retenir
- FlashAttention calcule exactement la même formule mathématique, mais supprime le goulot d’étranglement d’entrées-sorties entre la HBM et la SRAM.
- Le passage de MHA à GQA (adopté par LLaMA 2 et 3) divise la taille du KV Cache par un facteur de 4 à 8, ce qui permet de servir davantage de contextes concurrents.
- La quantification en 4 bits (NF4, QLoRA) réduit la taille des poids d’un facteur 4 par rapport au FP16 et démocratise l’usage local.
VALIDATION
Vérifiez votre compréhension
Pourquoi FlashAttention est-il plus rapide que l’attention standard, bien qu’il effectue parfois davantage d’opérations mathématiques (recalcul lors du passage arrière) ?