LE PARCOURS · Intermédiaire
Interprétabilité mécaniste des LLM : guide pratique
Comprendre comment les représentations, les circuits et les interventions causales permettent d’étudier un LLM, sans dépasser ce que l’expérience démontre.
Ce que l’interprétabilité mécaniste cherche à expliquer
Un modèle de langage transforme une suite de tokens en scores pour le token suivant. L’interprétabilité mécaniste pose une question plus exigeante que « quelle entrée a compté ? » : quels calculs internes ont produit un comportement, et comment mettre cette explication à l’épreuve ? L’objectif n’est pas de traduire chaque vecteur en une phrase, mais de construire une explication portant sur des représentations, des composants et leurs interactions.
Une carte d’attention, une sonde ou un récit convaincant peuvent révéler une régularité. Ils ne démontrent pas encore que le modèle utilise cette régularité. Une enquête solide passe de l’observation à une hypothèse, puis à une intervention et à une mesure choisie indépendamment.
Des représentations aux caractéristiques et aux circuits
Une activation est une valeur calculée pour une entrée et un emplacement précis du réseau. Une caractéristique est une direction ou une structure qui suit une information utile sur plusieurs exemples. Elle ne correspond pas nécessairement à un seul neurone : une information peut être distribuée, tandis que plusieurs caractéristiques peuvent partager une même capacité de représentation. On parle alors souvent de superposition.
Un circuit est un ensemble proposé de composants et de connexions réalisant une partie du calcul. Têtes d’attention, perceptrons multicouches et directions du flux résiduel peuvent y participer. Une affirmation sur un circuit doit préciser la tâche, les sites, l’information transmise, l’effet attendu d’une intervention et les exemples de validation.
Les grandes familles de méthodes
- Les sondes vérifient si une information peut être décodée depuis une activation. Elles montrent sa disponibilité, pas nécessairement son utilisation.
- La logit lens et les méthodes d’attribution relient des états internes aux scores de sortie. Elles localisent des contributions candidates, sous les hypothèses de la décomposition choisie.
- Le remplacement d’activation transfère un état entre deux calculs et mesure la restauration d’un comportement défini.
- L’ablation retire ou remplace un composant. Un effet peut montrer sa nécessité dans un contexte ; la redondance peut masquer une contribution réelle.
- Les autoencodeurs parcimonieux apprennent un ensemble élargi de caractéristiques rares. Ils facilitent l’inspection, mais l’étiquette et la portée causale de chaque caractéristique restent à vérifier.
- La découverte de circuits recherche un sous-graphe de calcul plus petit. L’automatisation rend la recherche plus vaste, pas automatiquement fidèle.
Un exemple contrôlé de remplacement d’activation
Construisez deux invites qui diffèrent sur un point pertinent. Exécutez-les, choisissez une couche et une position de token, puis conservez l’activation de la condition propre. Pendant le calcul corrompu, remplacez uniquement cette activation et poursuivez la propagation. Mesurez un contraste fixé à l’avance, par exemple la différence de logits entre deux tokens candidats.
Si le contraste est restauré, l’état remplacé a joué un rôle causal dans ce protocole. Cela ne prouve ni que le vecteur contient une notion unique ni que le circuit complet a été découvert. Auto-remplacement, intervention inverse, perturbations témoins et exemples réservés limitent les erreurs de montage et les effets de sélection. La leçon guidée sur le remplacement d’activation détaille cette expérience.
Ce que le résultat permet — et ne permet pas — de conclure
Une preuve mécaniste reste conditionnelle au modèle, aux invites, à la tokenisation, aux sites, à la règle de remplacement et à la métrique. Un résultat positif étaye une affirmation causale sur l’intervention testée. Une absence d’effet peut indiquer une absence de rôle, un site mal choisi, une mesure peu sensible ou un chemin redondant.
Un travail robuste décrit donc les contrôles, les cas négatifs, la méthode de recherche et la validation sur des exemples non utilisés pour sélectionner le mécanisme. Il distingue aussi clairement un calcul pédagogique d’une expérience exécutée sur un modèle réel.
Un protocole reproductible
- Définir le comportement et la métrique avant d’observer les états internes.
- Construire des entrées propres et corrompues comparables.
- Repérer des représentations candidates sans les appeler causes.
- Intervenir sur des sites explicites avec un code et une version documentés.
- Comparer à des témoins et à des hypothèses concurrentes.
- Valider sur des invites réservées et publier les échecs.
- Formuler la conclusion la plus étroite compatible avec les preuves.
Pour aller aux sources : les outils de patching de TransformerLens, Toy Models of Superposition et l’article ACDC.
Poursuivez avec le Lab ou avec le tome II, La mécanique interne des LLM, qui développe cette démarche expérimentale.