生成式问答评测集的难例分层方法

生成式问答评测集最容易失真的地方，是把简单题和高难题混在一起，最后只报一个总体通过率。模型版本即使把高难题答差了，只要简单题占比够大，总分仍然可能上升。

结论：难例分层不是给样本随意打一个“难”字，而是同时固定样本标签、参考答案的可接受范围，以及每个难度层独立的指标。这样既能保留旧总分，又能看见模型到底在哪一层退化。

官方地址：https://huggingface.co/docs/inference-providers/

如果评测目标是比较模型或提示词版本，最小可用的分层是“简单题、边界题、高难题”三层；每层都要有自己的通过率，汇总时再选择宏平均或业务加权。

从单一总分迁移到难度分层

评测口径的变化可以先用一句话概括：旧报表回答“整体答对了多少”，新报表还要回答“哪一种题答不好”。这不是为了增加报表字段，而是为了避免样本构成变化掩盖真实回归。

一条样本至少保留四个标签维度：

• 任务类型：事实查找、条件推理、步骤解释或多约束组合。
• 证据依赖：是否必须引用给定材料，材料中是否存在干扰信息。
• 答案歧义：是否只有一个结论，还是存在多个表达等价的答案。
• 难度等级：根据前面三个维度和人工复核结果，落到简单题、边界题或高难题。

标签应描述题目的解题约束，而不是描述某个模型已经答得好不好。否则同一条样本会随着模型版本变化而“自动变难”，指标就失去了可比性。

参考答案要写出“可接受范围”

生成式回答通常不适合只用一段标准文本做字符串匹配。更稳妥的参考答案由三部分组成：必须出现的事实、允许的表达变体，以及不能出现的错误或越界结论。

{
  "question_id": "qa-017",
  "difficulty": "边界题",
  "required_facts": ["结论A", "条件B"],
  "acceptable_variants": ["结论A的同义表述"],
  "forbidden_errors": ["把条件B说成无条件结论"]
}

这里的 JSON 必须保持有效，所以没有在代码块里加入注释；字段含义直接写在代码后面。required_facts 约束回答的最低信息量，acceptable_variants 防止把自然改写误判为错误，forbidden_errors 则专门拦截看似流畅但会改变结论的回答。

参考答案不要把所有可能的好答案都提前写成白名单。白名单过窄会惩罚正常改写，过宽又无法区分关键事实。只要能明确回答“必须说对什么、可以怎么说、不能说错什么”，评测就有了可解释的边界。

按分层统计通过率，而不是只看平均数

每个难度层先单独计算通过率，再决定汇总方式。宏平均让三层拥有相同话语权；业务加权则适合高难题更重要的场景。两者都应保留，避免一个总分掩盖取舍。

from collections import defaultdict

def layered_scores(rows, weights=None):
    # rows 中的 passed 必须已经由统一的参考答案规则判定。
    buckets = defaultdict(lambda: [0, 0])
    for row in rows:
        level = row["difficulty"]
        buckets[level][0] += 1
        buckets[level][1] += int(row["passed"])

    # 先得到每层通过率，避免用样本量直接替代难度层。
    rates = {
        level: passed / total
        for level, (total, passed) in buckets.items()
        if total
    }
    macro = sum(rates.values()) / len(rates) if rates else 0.0

    # 未提供业务权重时退化为宏平均，保证报表仍可计算。
    weights = weights or {level: 1 / len(rates) for level in rates}
    weighted = sum(rates[level] * weights.get(level, 0)
                   for level in rates)
    return {"layered": rates, "macro": macro, "weighted": weighted}

这段代码只处理标签和指标，不负责判断回答内容。passed 应由同一套人工规则或结构化判定结果写入，不能让不同难度层使用不同的通过标准。

旧报表怎么迁移，才不会丢掉连续性

迁移时不要立即删除旧总分。可以同时输出三组字段：

最小迁移规则是：先固定三层的样本数量和标签说明，再用同一批样本跑旧版本与新版本，最后同时比较 overall、macro 和高难题通过率。只有总体分数变化而分层结果不变，才可能只是样本比例变化；如果高难题显著下降，即使总分上升，也应把它当作真实回归信号。

发布前还可以设置一个很小的难例核对集，例如每层抽取固定数量的代表样本，逐条查看必答事实和禁止错误是否仍然符合标注说明。这个核对集用于维护标签和参考答案，不替代完整评测集。

常见问题

难度等级应该由模型表现决定吗？不应该。模型表现可以帮助发现标注异常和新增难例，但正式标签要依据题目约束、证据依赖和答案歧义固定下来，否则不同版本无法比较。

宏平均和业务加权分数只保留一个可以吗？不建议。宏平均适合观察每层是否均衡，业务加权适合表达真实优先级。两者同时保留，才能说明“平均质量”和“业务风险”是否发生了不同变化。

一句话记住：先把难度写进样本标签，再把可接受范围写进参考答案，最后按层计算通过率。这样评测集才不只是一个分数生成器，而是一张能解释版本变化的质量地图。