Descubre qué ocurre dentro de un LLM (modelo de lenguaje).

Sigue una frase: tokens, vectores, atención, capas del Transformer y elección del siguiente token.

Del texto a los números. La frase «La capital de Francia es» se divide en cinco palabras, tratadas aquí como tokens. Cada token se convierte en un vector; se ilustran doce dimensiones en un espacio esquemático.

De las relaciones al contexto. Las conexiones entre posiciones se convierten en una matriz de pesos de atención. Cada fila consulta las posiciones anteriores y su propia posición. Las posiciones futuras se ocultan.

A través de las capas. La representación atraviesa las capas del Transformer. La atención, el MLP y el flujo residual contribuyen a su transformación. El recorrido por las capas es esquemático.

Del valor al siguiente token. La última posición produce logits para cuatro candidatos: París 8,7; Lyon 3,1; Marsella 1,8; Londres 0,9. Softmax, con temperatura 1, los convierte en probabilidades que suman el 100 %. París recibe aproximadamente el 99,49 % en este ejemplo reducido. El token más probable se añade a la frase. El proceso puede repetirse.

Ilustración educativa: división simplificada en palabras, vectores y pesos ficticios. Las probabilidades se calculan sobre cuatro candidatos, no sobre todo el vocabulario de un modelo. El vídeo elige el máximo; un modelo también puede muestrear.