Le laboratoire
La bonne citation, la mauvaise réponse
Menez l’enquête dans une boutique fictive : quelle règle permet réellement de répondre au client ?
Expérience construite · sans modèle exécuté
La situation · Trouver la règle applicable
Un client veut retourner un clavier personnalisé reçu il y a douze jours. L’assistant retrouve une page qui annonce trente jours pour les retours. Cela suffit-il pour accepter sa demande ?
Ce que vous allez apprendre
Distinguer un document pertinent en apparence d’une preuve suffisante pour répondre à une situation précise.
Votre mission
Lisez les documents, sélectionnez ceux qui justifient votre décision, puis répondez au client. Recommencez lorsque la règle d’exception devient inaccessible.
À la fin de cette activité. Vous saurez expliquer pourquoi une citation authentique ne garantit pas une réponse juste, et reconnaître un cas où il faut demander une vérification.
Le client change d’avis et demande un retour. Le produit ne présente aucun défaut. Que pouvez-vous lui répondre à partir des documents accessibles ?
Cette expérience évalue votre choix de preuves dans un corpus construit. Aucun LLM ne génère de réponse et aucun moteur de recherche réel n’est évalué.
Pourquoi commencer par une décision de service client
Un assistant documentaire doit faire plus que retrouver un passage qui ressemble à la question. Il doit relier ce passage aux caractéristiques du cas traité. Ici, le délai de douze jours attire facilement l’attention parce qu’il entre dans la fenêtre de trente jours annoncée par D1. Mais la catégorie du produit compte également : le client parle d’un clavier personnalisé, alors que D1 décrit uniquement les articles standards.
La mission consiste à distinguer ces deux conditions. La règle générale n’est pas fausse. Elle est simplement insuffisante pour conclure sur ce produit. Citer une phrase authentique ne répare donc pas un raisonnement qui l’applique en dehors de son domaine.
Comment mener l’enquête
Dans le premier dossier, lisez D1 puis D2 avant de choisir votre réponse. D2 traite directement les articles personnalisés et le changement d’avis. La demande ne concerne aucun défaut : la réserve sur les défauts ne permet donc pas de contourner la règle de l’exercice. Sélectionnez le document qui établit votre conclusion. D3 contient les mots « clavier personnalisé », mais il explique la préparation et la livraison, pas le droit au retour dans cette boutique fictive.
Passez ensuite au dossier du clavier standard. Le délai reste identique, mais la catégorie du produit change. D1 devient la règle pertinente. Cette variation montre qu’une bonne réponse n’est pas une phrase mémorisée : elle dépend de la correspondance entre les faits du dossier et les conditions du document.
Que faire lorsque la pièce décisive manque
Le troisième dossier retire D2 des documents accessibles. Vous savez, en tant que lecteur ayant vu le premier dossier, qu’une exception existe. L’assistant, lui, doit justifier sa réponse uniquement avec le corpus actuellement disponible. Dans l’exercice, examinez donc D1 et D3, puis choisissez la vérification plutôt qu’une décision non justifiée. Une absence de preuve n’est pas une preuve d’autorisation, ni une preuve d’interdiction.
La correction distingue la réponse choisie et ses sources. Cela évite de récompenser une bonne décision obtenue avec une justification qui ne la soutient pas. Dans un système réel, cette distinction peut aider à repérer les réponses exactes par hasard ou fondées sur une information extérieure au corpus demandé.
Le lien avec un système RAG
Un système RAG associe une recherche documentaire à une génération de réponse. Nous isolons ici le passage entre documents retrouvés et décision : la recherche est représentée par une liste construite, et vous jouez le rôle du lecteur qui vérifie les preuves. Aucun score de similarité ni résultat de modèle n’est inventé.
Pour transposer cette méthode à votre projet, préparez des questions où la première source paraît pertinente mais où une condition change la réponse. Évaluez séparément la présence de la bonne source, l’exactitude de la réponse et la capacité de la citation à justifier cette réponse. Ces trois réussites ne sont pas équivalentes.