LE PARCOURS
Apprendre les mécanismes, étape par étape.
Des leçons guidées relient les concepts, les expériences du Lab et les chapitres des deux ouvrages. Commencez par une situation concrète, construisez le raisonnement, puis vérifiez-le.
Débutant7 min de lectureTome I
Avant toute multiplication matricielle, le texte devient une suite d’identifiants. Testez un découpeur BPE et voyez l’effet sur le coût.
tokenisationBPEcoûtTome 1
Lire la leçon : Découper le texte en jetons dicte le coût et la latence →Débutant7 min de lectureTome I
Les embeddings placent les mots dans un espace où les relations deviennent des translations. Manipulez-les dans un observatoire 3D.
embeddingsespace latentsimilarité cosinusTome 1
Lire la leçon : La géométrie de l’espace latent transforme le sens en vecteurs →Intermédiaire8 min de lectureTome I
Requêtes, clés et valeurs : voyez comment chaque jeton interroge les autres, et pourquoi on divise par √d_k avant le softmax.
attentionTransformersoftmaxTome 1
Lire la leçon : L’attention multi-têtes relie chaque mot au contexte en parallèle →Intermédiaire8 min de lectureTome I
Plutôt que d’ajouter une position, RoPE fait tourner Requêtes et Clés. Testez sur un cadran pourquoi seul l’écart compte.
RoPEpositioncontexte longTome 1
Lire la leçon : RoPE encode la distance relative par une rotation géométrique →Intermédiaire8 min de lectureTome I
Un routeur n’active que quelques experts par jeton. Simulez le routage Top-K et le collapse, et distinguez paramètres totaux et actifs.
MoEroutageMixtralTome 1
Lire la leçon : Le Mixture of Experts spécialise le calcul sans alourdir l’inférence →Avancé9 min de lectureTome I
Le vrai goulot est la mémoire, pas le calcul. Comparez les flux HBM et SRAM, puis estimez la VRAM d’un modèle avec un dimensionneur.
FlashAttentionKV CacheVRAMTome 1
Lire la leçon : FlashAttention et le KV Cache domptent la hiérarchie mémoire du GPU →Intermédiaire12 min de lectureTome II
Comprendre comment les représentations, les circuits et les interventions causales permettent d’étudier un LLM, sans dépasser ce que l’expérience démontre.
interprétabilité mécanistecircuits transformerintervention causale
Lire la leçon : Interprétabilité mécaniste des LLM : guide pratique →Intermédiaire7 min de lectureTome II
Une information visible dans un modèle est-elle utilisée ? Construisez un contraste, mesurez une restauration et apprenez à tester une explication.
activation patchinglogits
Lire la leçon : Le garage des LLM : remplacer une activation pour comprendre →Débutant9 min de lectureTome II
Suivez une demande à travers cinq contrôles : intention, extraction, preuve, génération et évaluation.
évaluationRAGfiabilité
Lire la leçon : De la question à la réponse vérifiable →