Hugging Face Evaluate 怎么为指标计算置信区间

Hugging Face Evaluate 已经在高层 evaluator.compute() 中提供 bootstrap 入口：把 strategy 设为 "bootstrap"，再设置置信水平和重采样次数，返回值就会同时包含指标分数、置信区间与标准误。它适合回答“这次 0.91 是否稳定”，而不只是报告一个孤立分数。

官方地址：https://huggingface.co/docs/evaluate/

• 置信区间入口在任务 evaluator，不是普通 metric.compute()。
• 对比模型时应固定测试集，并设置 random_state。
• 区间越宽，通常说明样本量或样本一致性仍不足。

接口目标：让分数带上不确定性

普通指标计算只返回一个点估计。bootstrap 会对评测样本重复有放回抽样，并在每次抽样上重新计算指标，由分布估计置信区间。Evaluate 的 evaluator 会把这一过程封装起来；官方参考说明其内部使用 SciPy 的 bootstrap 方法。

最小可用写法

下面以文本分类准确率为例。模型和数据集只用于展示调用位置，真正比较版本时应替换为同一条生产评测链中的模型与固定测试集。

import evaluate
from datasets import load_dataset

data = load_dataset("rotten_tomatoes", split="test")
metric = evaluate.load("accuracy")
task_evaluator = evaluate.evaluator("text-classification")

result = task_evaluator.compute(
    model_or_pipeline="lvwerra/distilbert-imdb",
    data=data,
    metric=metric,
    label_mapping={"NEGATIVE": 0, "POSITIVE": 1},  # 对齐模型标签与数据标签
    strategy="bootstrap",                          # 启用重采样置信区间
    confidence_level=0.95,                         # 请求 95% 置信区间
    n_resamples=9999,                              # 增加抽样次数以减小随机波动
    random_state=42,                               # 固定随机性，便于版本对比
)

accuracy = result["accuracy"]
print(accuracy["score"])
print(accuracy["confidence_interval"])
print(accuracy["standard_error"])

如果数据列名与任务默认值不同，还要显式传入对应的列参数。不要把 strategy="bootstrap" 传给单独的 metric.compute()：普通 Metric API 只把额外参数转交给具体指标实现，并不等同于 evaluator 的抽样策略。

参数怎么取舍

比较模型时的判断边界

置信区间不是模型质量保证。它描述的是当前评测集与抽样方法下的统计不确定性，不能替代数据代表性、标签质量和业务切片检查。两个模型区间重叠也不能仅凭肉眼断言“没有差异”；严谨比较还要根据配对样本和具体统计假设选择检验方法。

最稳妥的记录方式是把模型版本、数据集版本、指标配置、confidence_level、n_resamples 与 random_state 一起保存。这样分数变化时，调用方能区分真实改进、样本变化和抽样波动。

常见问题

重采样次数越大越好吗？

更大的次数通常让估计更稳定，但计算成本也会上升。先用较小次数验证链路，正式报告再固定一个足够大的值；官方默认值为 9999。

为什么结果不再是一个浮点数？

bootstrap 模式会把每个指标包装为结构化结果，其中包含 score、confidence_interval 和 standard_error，读取时要多取一层指标键。