AI 问答结果波动大时怎么固定评测提示和数据集

AI 问答每次跑出来的结果不一样，先别急着换模型。最常见的原因是评测时同时改变了 system prompt、检索结果、数据版本或生成参数，最后只看一个总分，自然无法判断差异来自哪里。可复现的做法是：固定提示模板和数据快照，把检索召回与答案质量分开记，再一次只改变一个变量。

步骤一：先把评测对象拆成检索和回答两段

一条 RAG 问答包含两次决策：检索器取哪些片段，模型如何依据片段回答。只保存“问题—答案”，就无法区分漏召回和错误引用。

评测记录固定为一行一条样本：id、user_input、retrieved_contexts、response、reference、relevant_doc_ids、split、dataset_version。其中 split 区分回归、边界和干扰样本。

步骤二：冻结提示模板与运行参数

提示词不能只保存一句“请回答问题”。应把 system prompt、变量插入规则、上下文顺序和输出格式作为模板，并为模板生成版本号。运行清单还要写明模型、temperature、top_p、max_tokens、embedding、切块规则、top_k、过滤条件和知识库快照。

工程上可以用一份轻量 JSON 记录实验边界：

{
  "prompt_version": "rag-answer-v3",
  "dataset_version": "support-qa-2026-09-01",
  "model": "answer-model-a",
  "temperature": 0,
  "retriever": {"embedding": "embed-v2", "top_k": 5, "chunk_size": 500}
}

这份清单是结果的解释条件。提示模板或数据集哈希不同，报告就不能直接比较；探索随机性时，也要固定其他条件单独重复。

步骤三：设计带边界的分层评测集

评测集不宜只收集容易题。至少保留常规事实问答、多片段组合、知识库无答案的拒答、相似干扰四类样本，并用稳定 ID 记录行业、难度和是否多跳。

数据集采用追加和显式版本，不直接覆盖。确认新增样本后生成新的 dataset_version，旧版本继续回归；训练、调参和最终回归集也要分开。

步骤四：分别看召回、相关性、忠实度和准确性

检索层先看 recall@k 或 nDCG@k：相关文档是否进入前 k 个结果、排序是否把更有用的片段放前面。回答层再看上下文相关性、回答忠实度和答案正确性。NVIDIA 的 RAG 评测文档也把问题、检索上下文、回答和参考答案作为不同字段，并区分在线生成回答与离线评测已有回答。

不要用平均总分代替行级分析。报告至少保留均值、样本数、低分样本 ID 和对应上下文。

步骤五：用一次只改一个变量的回归流程

建立基线后，固定 dataset_version 和 prompt_version，例如只把 top_k 从 5 改成 8，或只替换回答模型。保存行级评分、聚合结果和配置哈希；多个变量要拆成多个实验。

上线前把回归集设为门禁：召回不能低于基线，忠实度和准确性按业务阈值判断，拒答集不能大量变成编造回答。失败时保留差异样本并回滚配置。

常见问题

temperature 设为 0，结果还会变化吗？

会。检索排序、服务端版本、上下文顺序、数据快照或并发条件变化，都可能让输入发生变化。温度为 0 只固定了生成侧的一部分随机性。

评测集越大越可靠吗？

不一定。没有分层的大数据集可能被简单题稀释。先保证边界样本和稳定标签，再逐步扩大规模。

为什么不能只用答案相似度？

相似度无法单独说明召回是否正确，也不能充分发现答案包含上下文没有支持的断言。至少要结合召回、相关性和忠实度一起看。

评测稳定的核心不是追求一次漂亮分数，而是让每个分数都能回到同一份提示、同一份数据和同一条检索路径。固定版本、分层样本、拆开指标，再进行单变量回归，结果才真正可比较。