Vidéos

Vidéos courtes

Les shorts YouTube publiés, avec transcription et lien vers la notion étudiée.

Cette IA classait parfaitement… en lisant la longueur des messages

Transcription
Une IA classe vos messages parfaitement pendant l'apprentissage. Peut-on lui faire confiance ? Le piège du livre, construit exprès : à l'apprentissage, les incidents sont longs, avec une formule de politesse. Les demandes d'information sont courtes. Deux règles réussissent alors aussi bien : lire les mots… ou lire la longueur. Comme un élève malin qui devine la réponse à la taille de la question. Au test, on inverse : incidents courts, demandes longues. Et les trois méthodes testées font exactement les mêmes erreurs. Pourquoi ? À l'apprentissage, la formule de politesse n'apparaissait qu'avec les incidents. Un indice aussi commode que la catégorie elle-même. La réparation : changer les données, pas le modèle. Sur 24 messages neufs, l'exactitude passe de 50 % à 79,2 %. Alors, votre IA lit-elle la tâche… ou la longueur, la source, la date ? Seul un test où l'indice ne suit plus la catégorie peut le dire. Le chapitre 4 de La Mécanique interne des LLM monte ce piège et le démasque. Abonnez-vous pour ne pas manquer la suite !

85 % d'accord entre deux humains… dont la moitié par hasard

Transcription
Deux personnes classent les mêmes 100 textes. Elles tombent d'accord 85 fois. C'est beaucoup ? Classer un texte, c'est comme siffler un hors-jeu : on applique une règle écrite. Deux arbitres avec la même règle devraient siffler les mêmes fautes. 85 % d'accord. Mais une partie de cet accord arrive… par hasard. Imaginez deux correcteurs qui ne lisent rien et tirent à pile ou face. Ils tomberaient d'accord une fois sur deux : 50 %, par pur hasard. Le kappa ne garde que l'accord au-delà du hasard. 85 moins 50, sur 100 moins 50… 0,70. Et les désaccords se cachent dans les cas limites. « La facture est incorrecte » : incident, ou demande d'information ? Deux personnes peuvent hésiter. La solution : écrire la règle avec ses contre-exemples, mesurer l'accord, et seulement ensuite juger une machine. Un outil ne peut pas être meilleur que la définition de ce qu'on lui demande. Alors, quand on vous dit qu'une IA « fait aussi bien que les humains »… quels humains, et avec quelle règle écrite ? Le chapitre 3 de La Mécanique interne des LLM construit cette référence pas à pas. Abonnez-vous pour ne pas manquer la suite !

Paris, 433e réponse d'une IA… puis 1re grâce à une seule phrase

Transcription
Une IA connaît-elle la capitale de la France ? Faisons le test, avec un vrai modèle : GPT-2. On lui donne ce début de phrase : « La capitale de la France est ». Et on regarde quel token il place en tête pour la suite. Verdict : en tête, « a », « la », « un »… Et Paris ? À la 433e place. Une chance sur 4 000. Maintenant, ajoutons une seule phrase avant : « La capitale de l'Allemagne est Berlin. » Et on repose exactement la même question. Paris bondit de la 433e à la première place. Et juste derrière… Berlin. Le modèle n'a rien appris : ses poids n'ont pas bougé. Seul le texte a changé. Explication plausible : il reconnaît un motif, tel pays, telle capitale, et il le prolonge. Alors, l'IA savait-elle la réponse… ou a-t-elle seulement copié une forme ? Pour trancher, il faut ouvrir le modèle et regarder dedans. Le chapitre 2 de La Mécanique interne des LLM mène cette expérience, le chapitre 8 ouvre le modèle. Abonnez-vous pour ne pas manquer la suite !

80 % de bonnes réponses… et pas un seul incident détecté

Transcription
Un outil d'IA trie les messages d'un service client. Score : 80 % de bonnes réponses. Bonne nouvelle ? Pensez à un trieur de courrier, avec deux bacs. Incident : une panne, un blocage. Information : une question de tarif, de délai. On le teste sur 10 messages : 8 demandes d'information… et seulement 2 incidents. Maintenant, un outil paresseux, qui répond toujours « information » sans rien lire. Score : 8 sur 10. 80 %, lui aussi ! Sauf que le paresseux n'a jamais trouvé un seul incident. Exactement ce que le service voulait éviter. La parade : avant de commenter un score, calculez celui d'une méthode triviale, la baseline, sur les mêmes messages. Si elle fait déjà 80 %, l'outil n'a rien appris d'utile. Et d'abord, écrire le contrat de la tâche : ce que l'outil reçoit, les réponses permises, ce qui compte comme juste… et que faire des cas douteux. Alors, 80 %, c'est bien ou pas ? Ça dépend de ce que fait la méthode la plus bête… et de ce que vous attendiez de l'outil. Le chapitre 1 de La Mécanique interne des LLM pose ce contrat, le chapitre 3 construit la référence qui dit ce qui est juste. Abonnez-vous pour ne pas manquer la suite !

Une IA juge une IA : peut-on lui faire confiance ?

Transcription
Pour évaluer une IA, on demande de plus en plus souvent l'avis d'une autre IA. Peut-on lui faire confiance ? C'est le principe du LLM juge. On lui donne une grille de critères et deux réponses. Il désigne la meilleure, en expliquant pourquoi. C'est rapide et peu coûteux. Mais il a ses biais. Il préfère souvent la première réponse qu'on lui montre : inversez l'ordre, et son verdict peut s'inverser aussi. Il confond aussi parfois longueur et qualité. Quelques bonnes pratiques : présenter les réponses dans les deux ordres, exiger l'explication avant la note, et utiliser une température basse. Et si le juge est lui-même un modèle, qui vérifie le juge ? Le chapitre 15 de La Mécanique des LLM conclut sur l'évaluation des systèmes d'IA. Abonnez-vous pour ne pas manquer la suite !

Trois modèles, quatre outils : pourquoi le MCP simplifie tout

Transcription
Pour relier trois modèles à quatre outils, combien de connecteurs faut-il écrire ? 12. Sans standard, chaque modèle a besoin de son propre connecteur pour chaque outil. Avec m modèles et n outils, il en faut m fois n. Ça devient vite ingérable. Le MCP, pour Model Context Protocol, joue le rôle d'une prise universelle, comme l'USB-C. Chaque outil est branché une seule fois, et chaque application peut l'utiliser. Avec trois modèles et quatre outils, on passe de douze connecteurs à sept : trois plus quatre. Mais si un agent peut se brancher sur des centaines d'outils, comment choisit-il le bon sans se perdre ? Le chapitre 14 de La Mécanique des LLM présente le MCP et les protocoles agentiques. Abonnez-vous pour ne pas manquer la suite !

Répondre sur un document inconnu : le RAG et les outils

Transcription
Comment une IA peut-elle répondre sur un document qu'elle n'a jamais vu pendant son entraînement ? Grâce au RAG. C'est un examen à livre ouvert : au lieu de répondre de mémoire, le modèle va d'abord chercher les bons passages dans une base de documents. Trois temps. Récupérer : on trouve les passages les plus proches de la question. Augmenter : on les ajoute au contexte. Générer : le modèle répond en s'appuyant dessus. Et si le RAG donne des yeux au modèle, les outils lui donnent des mains. Pour 345 fois 987, mieux vaut appeler une calculatrice que deviner. Résultat : 340 515. Mais si les passages retrouvés sont mauvais, la réponse peut-elle être bonne ? Le chapitre 13 de La Mécanique des LLM présente le RAG, les outils et les agents. Abonnez-vous pour ne pas manquer la suite !

Écrire pour mieux penser : la chaîne de raisonnement

Transcription
Pourquoi une IA qui écrit son raisonnement se trompe-t-elle moins en mathématiques ? Un modèle classique essaie de deviner la réponse directement. Un modèle de raisonnement écrit d'abord des étapes intermédiaires, comme un élève sur son brouillon. Chaque mot écrit représente un peu de calcul en plus. Écrire les étapes donne au modèle le temps d'explorer, de vérifier, et de corriger. Par exemple : trois livres à douze euros, payés avec un billet de cinquante. Première étape : trois fois douze, 36. Deuxième étape : cinquante moins trente-six, 14. On rend quatorze euros. Mais un raisonnement bien écrit n'est pas une preuve : il peut être faux tout en ayant l'air convaincant. Alors, comment vérifier le raisonnement d'une IA ? Le chapitre 12 de La Mécanique des LLM présente les modèles de raisonnement. Abonnez-vous pour ne pas manquer la suite !

Même question, autre réponse : le tirage au sort et la température

Transcription
Pourquoi la même question donne-t-elle parfois deux réponses différentes ? À chaque étape, le modèle donne une probabilité à chaque mot possible. Par exemple : bonjour, quarante-cinq pour cent. Salut, trente-cinq. Yo, vingt. Puis il tire au sort selon ces chances. La température modifie ces chances. Basse, le mot favori écrase les autres : réponses sûres, mais répétitives. Haute, les chances se rapprochent : réponses plus variées, mais plus risquées. Avec une température de zéro virgule cinq, bonjour passe de 45 à 55 pour cent. Avec une température de deux, il retombe à 39, et yo monte à 26. Alors, pour un assistant médical, et pour écrire un poème, quelle température choisiriez-vous ? Le chapitre 11 de La Mécanique des LLM détaille les stratégies de génération. Abonnez-vous pour ne pas manquer la suite !

Apprendre à une IA à dire non : l'alignement

Transcription
Montrer de bonnes réponses à une IA ne suffit pas. Il faut aussi lui apprendre ce qu'elle ne doit pas dire. Mais comment ? On montre à des personnes une question et deux réponses du modèle. Leur tâche est simple : choisir la meilleure. Comparer est bien plus facile que rédiger une réponse parfaite. Par exemple : explique la dérivée à un lycéen. Réponse A : la dérivée mesure à quelle vitesse une quantité change. Réponse B : c'est un truc de matheux, pas très utile. Les évaluateurs choisissent A. Des milliers de ces choix servent ensuite à entraîner le modèle à préférer les réponses du premier type. C'est l'idée du RLHF, et de méthodes plus récentes comme DPO. Mais un modèle aligné reflète les préférences de ceux qui ont choisi. Alors, qui devrait faire ces choix ? Le chapitre 10 de La Mécanique des LLM explique l'alignement et ses limites. Abonnez-vous pour ne pas manquer la suite !

Un modèle brut continue, il ne répond pas : l'affinage et LoRA

Transcription
Demandez à un modèle brut : quelle est la capitale de la France ? Il peut répondre Paris. Ou bien continuer avec : quelle est la capitale de l'Allemagne ? Après le pré-entraînement, le modèle sait continuer un texte, pas répondre. L'affinage supervisé lui montre des paires : une instruction, puis la réponse idéale. Il apprend le comportement d'un assistant. On ne lui apprend pas de nouveaux faits, mais à se servir de ce qu'il sait. Et ici, la qualité des exemples compte bien plus que leur nombre. Pour adapter un modèle sans tout réentraîner, il y a LoRA. Au lieu de modifier une matrice d'environ 16 millions de nombres, on entraîne deux petites matrices d'environ 32 000 nombres. Comme des post-it collés dans un manuel. Et si on peut coller plusieurs jeux de post-it, peut-on garder un seul modèle de base pour plusieurs métiers ? Le chapitre 9 de La Mécanique des LLM présente l'affinage supervisé et LoRA. Abonnez-vous pour ne pas manquer la suite !

140 Go pour un seul modèle : pourquoi faut-il tant de GPU ?

Transcription
Pourquoi faut-il des dizaines de cartes graphiques pour entraîner un grand modèle de langage ? Faisons le calcul. Un modèle de soixante-dix milliards de paramètres, chacun stocké sur deux octets, pèse déjà 140 Go. Une carte H cent n'en a que 80. Et ce ne sont que les poids. Pour apprendre, il faut aussi garder les activations, les gradients et les états de l'optimiseur. La facture mémoire grimpe encore. Une seule carte ne suffit donc plus : le modèle seul dépasse déjà sa mémoire, avant même d'apprendre. Deux réponses. Répartir le travail sur plusieurs cartes. Et réduire la précision des nombres : calculer en 16 bits au lieu de 32 divise par deux la place de chaque nombre. Même modèle, mêmes nombres : sur seize bits, chacun prend deux fois moins de place que sur trente-deux. Jusqu'où peut-on réduire la précision des nombres, avant que le modèle ne perde en qualité ? Le chapitre 8 de La Mécanique des LLM détaille ces optimisations de l'entraînement. Abonnez-vous pour ne pas manquer la suite !

Pourquoi une IA ne connaît pas l'actualité ? | La date de coupure

Transcription
Demandez à une IA les nouvelles de la semaine. Bien souvent, elle ne les connaît pas. Pourquoi ? Pendant le pré-entraînement, le modèle lit d'immenses quantités de texte en apprenant à deviner le mot suivant. Mais cette lecture s'arrête à une date précise : la date de coupure. Après, il ne sait plus rien. Et combien faut-il lire ? Selon l'étude Chinchilla, environ 20 tokens par paramètre. Un modèle de 70 milliards de paramètres devrait donc lire environ 1 400 milliards de tokens. Ajouter ensuite de nouvelles connaissances n'est pas simple. En apprenant une recette de cuisine, le modèle pourrait oublier comment faire une addition. On parle d'oubli catastrophique. Alors, comment donner à un modèle des informations récentes, sans devoir le réentraîner à chaque fois ? Le chapitre 7 de La Mécanique des LLM explique le pré-entraînement et ses limites.

671 milliards de paramètres, 37 utilisés : le mélange d'experts

Transcription
Un modèle de 671 milliards de paramètres qui n'en utilise que 37 milliards pour chaque mot. C'est le cas de DeepSeek-V3. Comment est-ce possible ? C'est le mélange d'experts. Le modèle contient de nombreux réseaux spécialisés. Pour chaque mot, un aiguilleur, le routeur, choisit les quelques experts qui vont le traiter. Les autres restent au repos. Pensez à un grand hôpital. À l'accueil, on oriente chaque patient vers le bon spécialiste. L'hôpital sait énormément de choses, mais chaque patient ne voit que quelques médecins. Le piège, c'est un routeur qui envoie tout vers le même expert. Celui-ci est surentraîné, et les autres ne servent plus à rien. On ajoute donc une pénalité qui oblige à répartir le travail. Une question pour finir : si seuls 37 milliards de paramètres travaillent pour chaque mot, le modèle a-t-il besoin de moins de mémoire, ou seulement de moins de calcul ? Le chapitre 6 de La Mécanique des LLM décrit l'architecture en mélange d'experts.

Deux fois plus de texte, quatre fois plus de calcul ? | Le coût de l'attention

Transcription
Si on double la longueur d'un texte, le travail de l'attention double-t-il aussi ? Non. Il est multiplié par quatre. Dans l'attention, chaque mot est comparé à tous les autres. Avec 8 mots, cela fait 64 comparaisons. Avec 16 mots, 256. Le coût suit le carré de la longueur. Pour un modèle qui lit des livres entiers, ce carré devient un vrai mur de calcul et de mémoire. Une solution, utilisée par exemple par Mistral, est la fenêtre glissante. Chaque mot ne regarde que ses voisins proches, comme une lampe torche qui suit la lecture au lieu d'éclairer tout le stade. Le coût ne grandit plus qu'en ligne droite. Mais si chaque mot ne voit que ses voisins, comment une information du début du texte peut-elle encore atteindre la fin ? Le chapitre 5 de La Mécanique des LLM explore ces optimisations de l'architecture.

BERT ou GPT : lire ou écrire ? | Encodeur et décodeur

Transcription
BERT et GPT viennent de la même invention : le Transformer. Pourtant, l'un sert surtout à lire, et l'autre à écrire. Pourquoi ? L'encodeur lit toute la phrase d'un coup, dans les deux sens. Il est fait pour comprendre : classer un avis, repérer un nom de lieu ou de personne. C'est la famille de BERT. Le décodeur, lui, écrit un mot après l'autre, en ne regardant que ce qui précède. Son exercice : deviner le mot suivant. À très grande échelle, cela a donné GPT, LLaMA ou Mistral. Faut-il un grand modèle génératif pour trier des avis clients en positifs et négatifs ? Souvent, non. Un modèle de type BERT le fait très bien, et coûte beaucoup moins cher. Alors, dans un vrai système, pourquoi combine-t-on souvent les deux : un encodeur pour chercher, et un grand modèle pour rédiger ? Le chapitre 4 de La Mécanique des LLM présente ces familles de modèles.

Comment une IA sait-elle à qui renvoie « il » ? | L'attention

Transcription
Dans la phrase « le chat boit le lait parce qu'il a soif », comment une machine comprend-elle que le mot il désigne le chat ? Le Transformer ne lit pas un mot après l'autre. Pour chaque mot, il regarde toute la phrase et se demande de quels mots il a besoin. Puis il donne un poids à chacun. C'est un peu comme une bibliothèque. Votre question, c'est la requête. Les étiquettes des livres sont les clés. Leur contenu, ce sont les valeurs. On compare la requête à toutes les clés, puis on lit surtout les livres qui correspondent. Ici, le mot il compare sa requête aux clés des autres mots. La correspondance la plus forte est avec chat. Son sens s'enrichit donc surtout de celui de chat. Mais si tous les mots sont lus en même temps, comment le modèle sait-il que Jean mange le lion, et pas l'inverse ? Le chapitre 3 de La Mécanique des LLM explique l'attention, et la réponse à cette question.

Une IA lit-elle vraiment vos mots ? | La tokenisation

Transcription
Quand vous écrivez à une IA, elle ne lit pas vraiment vos mots. Elle lit des morceaux de mots, transformés en nombres. Avant tout calcul, le texte est découpé en petites unités qu'on appelle des tokens. La phrase « L'IA est utile » devient cinq morceaux, et chacun reçoit un numéro. Le modèle ne verra que ces numéros. Pourquoi pas des mots entiers ? Il y en a beaucoup trop, avec les conjugaisons et les fautes de frappe. Et des lettres seules rendraient les textes très longs. Les morceaux de mots sont le compromis. Conséquence concrète : les services d'IA facturent en tokens, pas en mots. Et deux modèles différents ne découpent pas forcément un même texte de la même façon. Une question pour finir : si une langue est découpée en plus de morceaux qu'une autre, que se passe-t-il pour le coût, et pour la quantité de texte que le modèle peut lire d'un coup ? Le chapitre 2 de La Mécanique des LLM détaille la tokenisation et les embeddings.

99,9 % de bonnes réponses… et pourtant inutile ? | Précision et rappel

Transcription
Prenons un test de dépistage pour une maladie rare. Sur 1 000 personnes, une seule est malade. Le test déclare tout le monde en bonne santé. Est-ce un bon test ? Si on compte ses bonnes réponses, il a raison dans 99,9 % des cas. Presque parfait. Sauf qu'il a raté la seule personne qu'on cherchait. Le score global ne suffit pas. Quand le test donne l'alerte, a-t-il raison ? C'est la précision. Parmi les vrais malades, combien en trouve-t-il ? C'est le rappel. Il faut regarder les deux. Autre exemple : 100 e-mails, dont 20 arnaques. Le filtre en bloque 10, dont 8 vraies arnaques. Il a raison 8 fois sur 10. Mais il en laisse passer 12 : il n'en attrape que 8 sur 20. Alors, quelle erreur est la plus grave ? Pour une maladie, rater un malade est souvent pire qu'une fausse alerte. Pour un filtre à spam, c'est l'inverse. Et dans votre domaine, quelle erreur coûte le plus ? Le chapitre 1 de La Mécanique des LLM revient sur ces mesures et sur leurs pièges.