EL RECORRIDO · Intermedio
Interpretabilidad mecanicista de los LLM: guía práctica
Descubre cómo las representaciones, los circuitos y las intervenciones causales permiten investigar un LLM, y qué no demuestran todavía.
Qué intenta explicar la interpretabilidad mecanicista
Un modelo de lenguaje transforma tokens en puntuaciones para el token siguiente. La interpretabilidad mecanicista plantea una pregunta más exigente que «¿qué entrada fue importante?»: ¿qué cálculos internos produjeron un comportamiento y cómo podemos poner a prueba esa explicación? El objetivo es construir explicaciones sobre representaciones, componentes e interacciones y someterlas a experimentos controlados.
Un mapa de atención, una sonda o un relato convincente pueden revelar un patrón, pero no prueban que el modelo lo utilice. Una investigación útil pasa de la observación a una hipótesis, después a una intervención y a una medida elegida de antemano.
De las representaciones a las características y los circuitos
Una activación es un valor calculado para una entrada en un lugar concreto de la red. Una característica es una dirección o un patrón que sigue información útil en varios ejemplos. Puede estar distribuida entre muchas coordenadas, mientras que varias características pueden compartir capacidad mediante superposición.
Un circuito es un conjunto propuesto de componentes y conexiones que realiza una parte del cálculo. Cabezas de atención, MLP y direcciones del flujo residual pueden participar. Una hipótesis de circuito debe indicar la tarea, los lugares, la información transmitida, el efecto esperado y los ejemplos de validación.
Principales familias de métodos
- Las sondas comprueban si una información puede decodificarse; disponibilidad no implica uso.
- La logit lens y la atribución relacionan estados internos con puntuaciones de salida.
- El activation patching transfiere un estado entre ejecuciones y mide la restauración de un comportamiento.
- La ablación elimina o sustituye un componente; la redundancia puede ocultar contribuciones reales.
- Los autoencoders dispersos aprenden características más separadas, cuya interpretación y papel causal todavía deben evaluarse.
- El descubrimiento de circuitos busca un subgrafo más pequeño; automatizar la búsqueda no garantiza fidelidad.
Un ejemplo controlado de activation patching
Construya dos prompts comparables, elija una capa y una posición, y guarde la activación de la condición limpia. Durante la ejecución corrupta, sustituya solo ese estado y continúe el cálculo. Mida un contraste definido antes del experimento, como la diferencia de logits entre dos tokens.
Una restauración apoya un papel causal de la intervención en esas condiciones. No demuestra que el vector contenga un único concepto ni que se haya encontrado el circuito completo. Autopatching, intervención inversa, perturbaciones de control y ejemplos reservados ayudan a detectar errores y selección oportunista. La lección guiada desarrolla el protocolo.
Qué demuestra el resultado y qué no
La evidencia depende del modelo, prompts, tokenización, lugares, regla de sustitución y métrica. Un resultado nulo puede significar irrelevancia, un lugar mal elegido, una medida débil o una ruta redundante. Un efecto grande tampoco vuelve completa una explicación.
Un trabajo sólido publica controles, casos negativos, procedimiento de búsqueda y validación en ejemplos no utilizados para seleccionar el mecanismo. También diferencia una simplificación didáctica de un experimento real.
Flujo de trabajo reproducible
- Definir comportamiento y métrica.
- Crear entradas limpias y corruptas comparables.
- Observar candidatos sin llamarlos causas.
- Intervenir en lugares explícitos con versiones documentadas.
- Comparar con controles e hipótesis alternativas.
- Validar en prompts reservados y comunicar fallos.
- Formular la conclusión más limitada compatible con la evidencia.
Fuentes útiles: TransformerLens, Toy Models of Superposition y ACDC. Continúe en el Lab o con La mecánica interna de los LLM.