El laboratorio
La cita correcta, la respuesta equivocada
Investiga una tienda ficticia: ¿qué regla justifica realmente la respuesta al cliente?
Experimento construido · sin ejecutar un modelo
La situación · Encontrar la regla aplicable
Un cliente quiere devolver un teclado personalizado recibido hace doce días. El asistente encuentra una página que permite devoluciones durante treinta días. ¿Basta para aceptar la solicitud?
Qué vas a aprender
Distinguir un documento aparentemente pertinente de una prueba suficiente para un caso concreto.
Tu misión
Lee los documentos, selecciona las pruebas que justifican tu decisión y responde al cliente. Repite cuando la excepción no esté disponible.
Al terminar esta actividad. Sabrás explicar por qué una cita auténtica no garantiza una respuesta correcta y cuándo hace falta verificar.
El cliente ha cambiado de opinión y solicita una devolución. El producto no tiene defectos. ¿Qué puedes responder con los documentos disponibles?
El experimento evalúa tu selección de pruebas en un corpus construido. Ningún LLM genera respuestas y no se evalúa un buscador real.
Por qué partir de una decisión de atención al cliente
Un asistente documental debe hacer algo más que encontrar un pasaje parecido a la pregunta. Debe relacionarlo con los hechos del caso. Los doce días atraen la atención porque encajan en el plazo de treinta días de D1. Pero la categoría importa: el cliente tiene un teclado personalizado y D1 solo describe artículos estándar.
La misión consiste en distinguir esas condiciones. La regla general no es falsa; es insuficiente para decidir este caso. Citar una frase auténtica no repara un razonamiento que la aplica fuera de su ámbito.
Cómo investigar
En el primer caso, lee D1 y D2 antes de responder. D2 trata los artículos personalizados y el cambio de opinión. No existe ningún defecto, de modo que la reserva sobre defectos no modifica la decisión del ejercicio. Selecciona el documento que establece tu conclusión. D3 contiene «teclado personalizado», pero habla de preparación y entrega, no de devoluciones en esta tienda ficticia.
Pasa después al teclado estándar. El plazo no cambia, pero sí la categoría. D1 se vuelve aplicable. Una respuesta correcta no es una frase memorizada: depende de relacionar los hechos con las condiciones del documento.
Cuando falta la prueba decisiva
El tercer caso retira D2 de los documentos accesibles. Como lector del primer caso, sabes que existe una excepción. Sin embargo, el asistente debe justificar la respuesta solo con el corpus disponible ahora. Examina D1 y D3 y elige verificar en vez de tomar una decisión sin fundamento. La falta de pruebas no demuestra ni permiso ni prohibición.
La corrección distingue la respuesta de sus fuentes. Así no recompensa una decisión correcta acompañada de una justificación irrelevante. En un sistema real, esto ayuda a detectar aciertos casuales o respuestas basadas en información externa al corpus solicitado.
La relación con RAG
RAG combina búsqueda documental y generación de respuestas. Aquí aislamos el paso de los documentos recuperados a la decisión: la búsqueda es una lista construida y tú verificas las pruebas. No se inventan puntuaciones de similitud ni resultados de modelos.
Para trasladar el método a tu proyecto, prepara preguntas donde la primera fuente parezca pertinente pero una condición cambie la respuesta. Evalúa por separado la recuperación de la fuente correcta, la exactitud de la respuesta y si la cita la justifica. Son tres éxitos distintos.