EL RECORRIDO · Inicial

Dividir el texto en tokens determina el coste y la latencia

Antes de cualquier multiplicación matricial, el texto se convierte en una secuencia de identificadores. Prueba un tokenizador BPE y observa el efecto en el coste.

7 min de lecturaTomo I · capítulo 2 y 3

El token: la unidad que el modelo lee de verdad

Antes de la más mínima multiplicación matricial, un modelo de lenguaje convierte el flujo continuo de texto en una secuencia discreta de identificadores enteros: los tokens. Esta elección de unidad es un compromiso permanente entre el tamaño del vocabulario y la longitud de las secuencias.

Una división por palabras falla con las raíces comunes (« bear » y « bears ») y tropieza con cualquier término ausente del diccionario, llamado fuera de vocabulario. A la inversa, una división por caracteres elimina las palabras desconocidas, pero estira desmesuradamente las secuencias. La norma actual, BPE (Byte-Pair Encoding) o WordPiece, fusiona estadísticamente los pares más frecuentes para obtener subpalabras reutilizables.

Un coste invisible, pero muy real

En producción, esta etapa discreta condiciona directamente la factura. Un tokenizador entrenado mayoritariamente con inglés fragmenta más el francés: para una misma frase aumenta el número de tokens y, con él, la facturación, la latencia y la memoria consumida.

Analogía del Tomo 1: la partitura digital

Imagina la tokenización como la transformación de una melodía fluida en una partitura musical. El texto continuo se divide en notas individuales, los tokens, que el instrumento puede después interpretar.

Dos frases con la misma longitud en caracteres pueden producir un número muy distinto de « notas ». El coste del KV Cache varía entonces linealmente con ese número, y el cálculo de atención inicial varía de forma cuadrática.

Ahora te toca

En el taller de abajo, compara las tres granularidades con los ejemplos propuestos o con tu propia frase. Fíjate sobre todo en la columna del coste relativo: es la que conecta una decisión de división con una factura.

Taller interactivo

Divisor de tokens e impacto en el coste

Modelo de juguete: ilustra el mecanismo con ejemplos pequeños y no mide un modelo real.

Lo esencial

  • Los modelos modernos (GPT, LLaMA, Mistral) dividen el texto en subpalabras para equilibrar el tamaño del vocabulario y la longitud de las secuencias.
  • Las API facturan por número de tokens, nunca por número de palabras ni de caracteres.
  • Una palabra repetida o inusual (« hellooooooo ») se fragmenta en varios tokens y aumenta la latencia.

VALIDACIÓN

Comprueba lo que has entendido

Por validar

¿Por qué un tokenizador BPE entrenado sobre todo con inglés resulta más caro de usar con un texto en francés de la misma longitud en caracteres?