AI 评测怎样区分检索错误与生成错误

RAG 应用答错时，单看最终答案分数很难知道该修哪里：可能是检索器没有把关键文档取回来，也可能是文档已经在上下文里，但模型没有按它作答。更稳妥的做法是把一条样本拆成“问题—检索结果—回答—参考信息”，先评估检索层，再评估生成层。

判断原则：相关资料没有出现，是检索错误；资料已经出现但回答无法被它支持，是生成或提示约束错误。两类问题要用不同字段和指标记录。

本文只讨论评测分层和样本记录，不给出适用于所有业务的统一阈值。Ragas 官方文档地址：https://docs.ragas.io/；Hugging Face 文档地址：https://huggingface.co/docs。

先把检索输入和生成输出拆成独立字段

评测接口至少需要保存四类信息：用户问题、检索到的上下文、模型回答和参考答案。若业务能维护“标准相关文档集合”，还应保存参考文档 ID。这样一条回答即使最终错了，也能回看错误发生在哪个边界。

from dataclasses import dataclass
from typing import Optional

@dataclass
class RagSample:
    # question 是原始问题，不能用模型改写后的问题替代
    question: str
    # 每个上下文保留稳定文档标识，便于回看召回和排序
    retrieved_contexts: list[str]
    retrieved_context_ids: list[str]
    # response 是本次生成结果，reference 是人工或规则准备的参考答案
    response: str
    reference: Optional[str]
    reference_context_ids: list[str]

def required_fields(sample: RagSample) -> list[str]:
    # 缺少上下文或上下文 ID 时，只能做有限的回答分析
    missing = []
    if not sample.question.strip():
        missing.append("question")
    if len(sample.retrieved_contexts) != len(sample.retrieved_context_ids):
        missing.append("retrieved_context_ids")
    if not sample.response.strip():
        missing.append("response")
    return missing

这里的字段名与 Hugging Face 的 RAG 评测示例相近，但代码是文章中的原创数据结构。重点不是照搬某个库，而是让检索结果和生成结果拥有可独立分析的证据。

用相关文档标签评估检索层

检索层要回答两个不同问题。第一，排在前面的片段是不是大多与问题有关？这对应 context precision，重点看相关片段是否被排在无关片段之前。第二，回答所需的关键信息有没有被召回？这对应 context recall，重点看必要资料是否出现在候选上下文中。

因此，不能只把“最终答案错了”记成召回失败。若参考文档 ID 为 [doc-7]，而检索结果是 [doc-3, doc-7]，资料其实被召回了，只是排序前面混入了噪声；如果结果是 [doc-3, doc-9]，才更像是召回覆盖不足。实际项目中可按文档 ID、段落 ID 或人工标注的相关性标签进行统计。

Ragas 的 context precision 文档还特别强调了排序位置：同一条相关片段放在前面和放在无关片段后面，分数含义不同。评测记录中应保留原始 rank，不要只保存去重后的文档集合。

固定检索上下文再评估回答层

当检索证据已经确定后，再看回答是否忠实于这些证据。faithfulness 衡量回答中的声明能否从 retrieved_contexts 推导出来；它不是“回答写得像不像参考答案”，而是“回答有没有凭空增加上下文没有支持的事实”。

例如，检索片段只说“退款申请需要订单号”，回答却补充“必须在 30 天内提交”。如果上下文没有这条期限，回答就存在生成层事实扩展，即便检索层召回是完整的。此时优先检查提示词中的引用约束、答案截断和模型生成策略，而不是马上重做向量索引。

def attribute_error(sample: RagSample, *, retrieval_ok: bool,
                    faithfulness: float, answer_correct: bool) -> str:
    # 先判断证据是否到位；没有证据时不把回答问题误判成模型问题
    if not retrieval_ok:
        return "retrieval"
    # 证据存在但声明无法被支持，优先归因到生成层
    if faithfulness 

示例中的 faithfulness 和 answer_correct 只是已完成评测后的输入，不代表固定阈值。对开放式回答，通常要结合声明拆分、人工抽检或领域规则，不宜把一个自动分数当成绝对真值。

用证据矩阵给错误归因

把两层结果放在一起，排查会更直接：

每次记录还应附上知识库版本、检索器版本、top-k、过滤条件、生成模型配置和评测器版本。否则换了文档或提示词以后，分数变化无法归因。对于缺少参考答案的样本，可以先保留上下文与回答，做忠实性或相关性分析，但不要把这类结果和有标准答案的正确性结果混为一组。

常见的两个误区

只保存最终回答，事后还能判断检索错了吗？

通常不能。没有原始 retrieved_contexts 和 rank，只能猜测；至少要在生成前把上下文、文档 ID、检索分数和过滤条件写入评测样本。

faithfulness 高就代表答案一定正确吗？

不一定。回答可能忠实地复述了错误或过时的上下文，所以还需要参考答案、权威事实或人工标注来判断正确性。

最终可以把 RAG 评测做成两层接口：检索层负责证明“需要的资料是否被正确取回”，生成层负责证明“回答是否只使用并正确解释这些资料”。先把证据记录完整，再谈阈值和优化，错误归因会比只看一个总分可靠得多。