LE PARCOURS · Débutant

Découper le texte en jetons dicte le coût et la latence

Avant toute multiplication matricielle, le texte devient une suite d’identifiants. Testez un découpeur BPE et voyez l’effet sur le coût.

7 min de lectureTome I · chapitre 2 et 3

Le jeton : l’unité que le modèle lit vraiment

Avant la moindre multiplication matricielle, un modèle de langage convertit le flux continu de texte en une séquence discrète d’identifiants entiers : les jetons (tokens). Ce choix d’unité est un compromis permanent entre la taille du vocabulaire et la longueur des séquences.

Un découpage par mots échoue sur les racines communes (« bear » et « bears ») et bute sur tout terme absent du dictionnaire, dit hors vocabulaire. À l’inverse, un découpage par caractères supprime les mots inconnus mais étire démesurément les séquences. La norme actuelle, BPE (Byte-Pair Encoding) ou WordPiece, fusionne statistiquement les paires les plus fréquentes pour obtenir des sous-mots réutilisables.

Un coût invisible, mais bien réel

En production, cette étape discrète conditionne directement la facture. Un tokenizer entraîné majoritairement sur de l’anglais fragmente davantage le français : pour une même phrase, le nombre de jetons augmente, donc la facturation, la latence et la mémoire consommée aussi.

Analogie du Tome 1 : la partition numérique

Imaginez la tokenisation comme la transformation d’une mélodie fluide en une partition musicale. Le texte continu est découpé en notes individuelles, les jetons, que l’instrument peut ensuite jouer.

Deux phrases de même longueur en caractères peuvent produire un nombre très différent de « notes ». Le coût du KV Cache varie alors linéairement avec ce nombre, et le calcul d’attention initial varie de façon quadratique.

À vous de jouer

Dans l’atelier ci-dessous, comparez les trois granularités sur les exemples proposés ou sur votre propre phrase. Observez surtout la colonne du coût relatif : c’est elle qui relie une décision de découpage à une facture.

Atelier interactif

Découpeur de jetons et impact sur le coût

Modèle jouet : il illustre le mécanisme avec de petits exemples, il ne mesure pas un modèle réel.

À retenir

  • Les modèles modernes (GPT, LLaMA, Mistral) découpent le texte en sous-mots pour équilibrer la taille du vocabulaire et la longueur des séquences.
  • Les API facturent au nombre de jetons, jamais au nombre de mots ni de caractères.
  • Un mot répété ou inhabituel (« hellooooooo ») se fragmente en plusieurs jetons et augmente la latence.

VALIDATION

Vérifiez votre compréhension

À valider

Pourquoi un tokenizer BPE entraîné surtout sur l’anglais coûte-t-il plus cher à l’usage sur un texte français de même longueur en caractères ?