El laboratorio
El clasificador que toma un atajo
Una puntuación perfecta… hasta que «gracias» cambia de bando. Descubre el atajo.
Experimento construido · sin ejecutar un modelo
La situación · Comprender la solicitud
Tu equipo necesita identificar incidentes en los mensajes recibidos. En una demostración, el detector reconoce todos los fallos. Sospechas que se apoya en la fórmula de cortesía añadida a los ejemplos.
Qué vas a aprender
Distinguir el éxito en un conjunto de datos de la capacidad de reconocer el problema relevante.
Tu misión
Conserva el significado de los cuatro mensajes y cambia solo la presencia de «gracias». Predice el efecto sobre la puntuación y comprueba tu hipótesis.
Al terminar esta actividad. Sabrás proponer una prueba por pares para detectar dependencia de una pista parásita, sin afirmar que has explicado todo el modelo.
Tu turno
Regla de ejemplo: si el mensaje contiene «gracias», predecir un incidente. La regla es fija; no se simula entrenamiento.
| Mensaje | Referencia | Predicción |
|---|
La cortesía no es el problema de negocio. La puntuación mide un conjunto de datos concreto, no una capacidad universal. Invertir esta señal es una prueba de resistencia construida, no una estimación del rendimiento real.
Distingue lo que queremos reconocer de lo que observamos
La tarea es reconocer un incidente por el significado del mensaje. Una avería de servidor y un pago fallido son incidentes con o sin cortesía. La columna «Referencia» representa esa definición y no cambia al activar el interruptor.
La regla de predicción no lee el problema descrito. Solo comprueba si se añadió «gracias». Al principio colocamos la fórmula en ambos incidentes. La regla parece perfecta porque coinciden dos propiedades diferentes: ser un incidente y contener «gracias».
Qué demuestra la inversión
Trasladar la fórmula a los mensajes normales rompe la coincidencia. Ningún incidente genera una alerta y ambos mensajes normales sí lo hacen. La puntuación baja a cero sin modificar la regla. Lo que cambia es la relación entre la pista y la respuesta correcta.
Hablar de «trampa» es una forma amena de describir el fenómeno, no una afirmación sobre intenciones. Hemos escrito una regla mecánica cuyo comportamiento conocemos por completo. Encontrar una sensibilidad análoga en un modelo aprendido requeriría pruebas; explicar su mecanismo interno necesitaría observaciones adicionales.
Mantén esta distinción al examinar tus resultados. Un experimento puede mostrar dependencia de una pista parásita bajo ciertas condiciones sin demostrar que el sistema dependa solo de esa pista en cualquier contexto. Una explicación rigurosa delimita esa conclusión.
La trampa
Tienes cuatro mensajes y una regla aparentemente infalible. Antes de marcar la casilla, predice su puntuación tras la inversión. Los incidentes siguen siendo incidentes; solo cambia la fórmula de cortesía.
Qué cambia y qué permanece fijo
El contenido de la tarea y las etiquetas de referencia no cambian. Trasladamos «gracias» de los incidentes a los mensajes normales. La regla solo observa esa pista: pasa de 4 aciertos de 4 a cero. Es un ejemplo didáctico construido, no una medición de un modelo entrenado.
Pruébalo en tu proyecto
Crea pares de mensajes con el mismo significado y distinta cortesía, firma o presentación. Si cambia la predicción, hay una sensibilidad que investigar. Después, utiliza ejemplos nuevos: corregir una prueba conocida no demuestra generalización.