Voyez ce qui se passe dans un LLM (modèle de langage).

Suivez une phrase : tokens, vecteurs, attention, couches du Transformer et choix du prochain token.

Du texte aux nombres. La phrase « La capitale de la France est » se sépare en six mots, traités ici comme des tokens. Chaque token devient un vecteur ; douze dimensions sont illustrées dans un espace schématique.

Des relations au contexte. Les liens entre les positions deviennent une matrice de poids d’attention. Chaque ligne consulte les positions précédentes et sa propre position. Les positions futures sont masquées.

À travers les couches. La représentation traverse les couches du Transformer. L’attention, le MLP et le flux résiduel participent à sa transformation. Le déplacement dans les couches est schématique.

Du score au prochain token. La dernière position produit les logits de quatre candidats : Paris 8,7 ; Lyon 3,1 ; Marseille 1,8 ; Londres 0,9. Softmax, à température 1, les convertit en probabilités totalisant 100 %. Paris reçoit environ 99,49 % dans cet exemple réduit. Le token le plus probable rejoint la phrase : « La capitale de la France est Paris ». Le processus peut recommencer.

Illustration pédagogique : découpage en mots simplifié, vecteurs et poids fictifs. Les probabilités sont calculées sur quatre candidats, pas sur le vocabulaire complet d’un modèle. Le film montre le choix du maximum ; un modèle peut aussi échantillonner.