LLM Mechanics
FR

Options d’accessibilité

Retirez les décors sans masquer les textes ni les illustrations pédagogiques. Vous pouvez aussi agrandir la page avec votre navigateur.

Limiter les mouvements et les transitions. Le réglage de votre appareil reste prioritaire.

Le laboratoire

Apprendre en faisant

Quatre expériences courtes, puis des lectures pour comprendre ce que les résultats permettent vraiment de conclure.

Le modèle en mouvement

Comment un LLM prédit-il le prochain token ?

Suivez une phrase : tokens, vecteurs, attention, couches du Transformer et choix du prochain token.

48 secondes · sans audio · 1080p

Illustration pédagogique : découpage en mots simplifié, vecteurs et poids fictifs. Les probabilités sont calculées sur quatre candidats, pas sur le vocabulaire complet d’un modèle. Le film montre le choix du maximum ; un modèle peut aussi échantillonner.

Lire la description du film

Du texte aux nombres

La phrase « La capitale de la France est » se sépare en six mots, traités ici comme des tokens. Chaque token devient un vecteur ; douze dimensions sont illustrées dans un espace schématique.

Des relations au contexte

Les liens entre les positions deviennent une matrice de poids d’attention. Chaque ligne consulte les positions précédentes et sa propre position. Les positions futures sont masquées.

À travers les couches

La représentation traverse les couches du Transformer. L’attention, le MLP et le flux résiduel participent à sa transformation. Le déplacement dans les couches est schématique.

Du score au prochain token

La dernière position produit les logits de quatre candidats : Paris 8,7 ; Lyon 3,1 ; Marseille 1,8 ; Londres 0,9. Softmax, à température 1, les convertit en probabilités totalisant 100 %. Paris reçoit environ 99,49 % dans cet exemple réduit. Le token le plus probable rejoint la phrase : « La capitale de la France est Paris ». Le processus peut recommencer.

Télécharger le MP4

Construire un assistant auquel on peut se fier

Imaginez un assistant qui aide une équipe à traiter les demandes de ses clients. Il doit comprendre le problème, recueillir les informations utiles et consulter les bonnes règles. À chaque étape, une réponse plausible peut cacher une erreur. Ce parcours vous apprend à repérer ces erreurs et à construire les vérifications qui manquent.

  1. Comprendre la demande

    Distinguer la réussite sur un jeu de données de la capacité à reconnaître le problème qui nous intéresse.

  2. Extraire la bonne information

    Comprendre pourquoi un format exploitable et une information correcte sont deux exigences distinctes.

  3. Trouver la règle applicable

    Distinguer un document pertinent en apparence d’une preuve suffisante pour répondre à une situation précise.

  4. Comprendre la variation des réponses

    Distinguer la probabilité de choisir un token de la probabilité qu’une réponse soit vraie.

  5. Évaluer le service rendu

    Lire la précision du point de vue des alertes reçues et le rappel du point de vue des incidents réels.