EL RECORRIDO
Aprender los mecanismos, paso a paso.
Lecciones guiadas conectan conceptos, experimentos del Lab y capítulos de ambos libros. Parte de una situación concreta, construye el razonamiento y después compruébalo.
Inicial7 min de lecturaTomo I
Antes de cualquier multiplicación matricial, el texto se convierte en una secuencia de identificadores. Prueba un tokenizador BPE y observa el efecto en el coste.
tokenizaciónBPEcosteTomo 1
Leer la lección : Dividir el texto en tokens determina el coste y la latencia →Inicial7 min de lecturaTomo I
Los embeddings sitúan las palabras en un espacio donde las relaciones se vuelven traslaciones. Manipúlalos en un observatorio 3D.
embeddingsespacio latentesimilitud del cosenoTomo 1
Leer la lección : La geometría del espacio latente convierte el sentido en vectores →Intermedio8 min de lecturaTomo I
Consultas, claves y valores: observa cómo cada token interroga a los demás y por qué se divide por √d_k antes del softmax.
atenciónTransformersoftmaxTomo 1
Leer la lección : La atención multicabeza conecta cada palabra con el contexto en paralelo →Intermedio8 min de lecturaTomo I
En lugar de sumar una posición, RoPE hace girar Consultas y Claves. Comprueba en un cuadrante por qué solo cuenta la diferencia.
RoPEposicióncontexto largoTomo 1
Leer la lección : RoPE codifica la distancia relativa mediante una rotación geométrica →Intermedio8 min de lecturaTomo I
Un enrutador activa solo unos pocos expertos por token. Simula el enrutamiento Top-K y el colapso, y distingue parámetros totales y activos.
MoEenrutamientoMixtralTomo 1
Leer la lección : Mixture of Experts especializa el cálculo sin encarecer la inferencia →Avanzado9 min de lecturaTomo I
El verdadero cuello de botella es la memoria, no el cálculo. Compara los flujos HBM y SRAM y estima la VRAM de un modelo con un dimensionador.
FlashAttentionKV CacheVRAMTomo 1
Leer la lección : FlashAttention y el KV Cache dominan la jerarquía de memoria de la GPU →Intermedio12 min de lecturaTomo II
Descubre cómo las representaciones, los circuitos y las intervenciones causales permiten investigar un LLM, y qué no demuestran todavía.
interpretabilidad mecanicistacircuitos transformerintervención causal
Leer la lección : Interpretabilidad mecanicista de los LLM: guía práctica →Intermedio7 min de lecturaTomo II
¿Se utiliza realmente una información visible dentro del modelo? Construye un contraste, mide una restauración y aprende a comprobar una explicación.
activation patchinglogits
Leer la lección : El taller de los LLM: reemplazar una activación para comprender →Inicial9 min de lecturaTomo II
Sigue una solicitud mediante cinco controles: intención, extracción, prueba, generación y evaluación.
evaluaciónRAGfiabilidad
Leer la lección : De la pregunta a la respuesta verificable →