O laboratório
A citação certa, a resposta errada
Investigue uma loja fictícia: qual regra realmente justifica a resposta ao cliente?
Experimento construído · sem executar um modelo
A situação · Encontrar a regra aplicável
Um cliente quer devolver um teclado personalizado recebido há doze dias. O assistente encontra uma página que permite devoluções em trinta dias. Isso basta para aceitar o pedido?
O que você vai aprender
Distinguir um documento aparentemente pertinente de evidência suficiente para uma situação específica.
Sua missão
Leia os documentos, selecione as evidências da sua decisão e responda ao cliente. Repita quando a regra de exceção estiver indisponível.
Ao concluir esta atividade. Você saberá explicar por que uma citação autêntica não garante uma resposta correta e quando é preciso verificar.
O cliente mudou de ideia e solicita uma devolução. O produto não tem defeito. O que você pode responder com os documentos disponíveis?
O experimento avalia sua seleção de evidências em um corpus construído. Nenhum LLM gera respostas e nenhum buscador real é avaliado.
Por que começar com uma decisão de atendimento
Um assistente documental precisa fazer mais do que encontrar um trecho parecido com a pergunta. Ele deve relacionar o trecho aos fatos do caso. Os doze dias chamam a atenção porque cabem na janela de trinta dias de D1. Mas a categoria também importa: o cliente tem um teclado personalizado e D1 descreve apenas artigos padrão.
A missão é distinguir essas condições. A regra geral não é falsa; ela é insuficiente para decidir esse caso. Citar uma frase autêntica não corrige um raciocínio que a aplica fora de seu âmbito.
Como investigar
No primeiro caso, leia D1 e D2 antes de responder. D2 trata diretamente de artigos personalizados e mudança de ideia. Não existe defeito, portanto a ressalva sobre defeitos não altera a decisão do exercício. Selecione o documento que sustenta sua conclusão. D3 contém “teclado personalizado”, mas trata de preparação e entrega, não das devoluções dessa loja fictícia.
Depois passe ao teclado padrão. O prazo não muda, mas a categoria muda. D1 passa a ser aplicável. Uma resposta correta não é uma frase memorizada: depende da correspondência entre os fatos e as condições do documento.
Quando falta a evidência decisiva
O terceiro caso retira D2 dos documentos acessíveis. Como leitor do primeiro caso, você sabe que existe uma exceção. O assistente, porém, deve justificar a resposta apenas com o corpus disponível agora. Examine D1 e D3 e escolha verificar, em vez de decidir sem fundamento. Ausência de evidência não demonstra permissão nem proibição.
A correção distingue a resposta de suas fontes. Isso evita premiar uma decisão correta acompanhada de uma justificativa irrelevante. Em um sistema real, a distinção ajuda a encontrar acertos por acaso ou respostas baseadas em informações externas ao corpus solicitado.
A relação com RAG
RAG combina busca documental e geração de respostas. Aqui isolamos a passagem dos documentos encontrados para a decisão: a busca é representada por uma lista construída e você verifica as evidências. Não inventamos pontuações de similaridade nem resultados de modelos.
Para aplicar o método, prepare perguntas em que a primeira fonte pareça pertinente, mas uma condição mude a resposta. Avalie separadamente a recuperação da fonte certa, a exatidão da resposta e se a citação a sustenta. São três sucessos diferentes.