AI 评测集污染如何通过时间切分降低风险

可以，但要把结论说准确：时间切分能降低 AI 评测集污染风险，不能证明评测集绝对无污染。它的核心不是按文件创建日期机械分割，而是让测试样本的最早可验证公开时间晚于模型训练数据截止时间，再冻结答案、隔离时间不明样本，并控制评测时的联网检索与持续训练。

最小可用规则是：只有当样本最早来源时间 T_source 明确晚于模型训练截止时间 T_train 时，样本才进入时间测试候选；来源时间不明、转载链不清或正好卡在边界上的样本进入隔离区，不计入主分数。

四个时间锚点先固定下来

时间切分最容易失败的地方，是只记录题目发布日期，却不记录模型和评测集自身的时间边界。建议每次评测都保留以下字段：

纳入主时间测试集的基本条件是 T_source > T_train。如果模型厂商只给出模糊的训练区间，应该把这个不确定性写进报告，而不是擅自把某天当成精确截止线。对于持续训练模型，还要额外记录模型版本和最后数据接入时间。

三个数据桶比二元切分更可靠

只分“训练前”和“训练后”会逼迫团队对模糊样本做错误判断。更实用的方案是设置三个桶：

这种设计的关键不是“多一个目录”，而是允许系统承认不知道。只要时间证据不足，样本就不该被强行包装成干净测试题。隔离区经过来源补证后可以进入下一版测试集，但必须产生新的版本记录。

时间切分之后仍要补四道控制

时间晚于训练截止线，仍可能存在四类污染。第一类是题目或答案被直接复制，可以用规范化文本哈希发现；第二类是改写、翻译和结构近似，需要语义近重复检测；第三类是转载页面晚于截止线，但原始内容更早，必须追溯最早来源；第四类是模型在评测时通过搜索、RAG 或工具调用拿到了答案。

因此，每条样本至少应保存规范化哈希、语义簇标识、最早来源地址、最早来源时间、答案冻结时间和许可状态。评测运行日志还要说明是否联网、是否允许检索、使用哪个索引快照。对闭卷能力评测，应关闭外部检索；对检索增强能力评测，则要固定可访问语料的截止时间，并把检索成功与模型推理能力分开报告。

冻结、保密与可复现要同时成立

测试题生成后，应在 T_freeze 固定题目、标准答案、评分规则和数据哈希。对主测试集尽量只公开任务说明和少量样例，不公开完整答案与推理依据；如果需要公开复现，可在一轮评测结束后释放旧版本，同时启用新时间窗。

Hugging Face Evaluate 可以把模型、数据集、任务和指标组织成可复现的评测调用或 EvaluationSuite，官方文档地址为 https://huggingface.co/docs/evaluate/index。它适合管理评测配置与指标，但不会自动证明数据没有污染，时间证据、来源链和运行时访问控制仍需自行维护。

LiveBench 采用来自近期来源并持续更新的问题，同时偏向可客观评分的答案，这是降低长期公开基准过拟合风险的一种思路。它说明“持续补充新题”很有价值，但频繁更新本身仍不能替代来源追踪和模型数据截止信息。

分窗报告不要只留一个总分

总分会把时间差异隐藏掉。更稳妥的报告至少同时展示历史窗、近期窗和隔离样本数量，并附上模型版本、T_train 可信等级、评测日期、是否联网和数据快照。若近期窗明显低于历史窗，可能说明历史题被记忆、近期任务更难，或模型能力发生分布偏移，需要进一步分析，不能直接把差值全部归因于污染。

建议按固定节奏滚动更新：补充训练截止线之后的新样本；对公开过久、讨论过多或答案广泛传播的题目做退役标记；保留旧窗分数用于趋势比较；新旧窗同时跑一段时间后再切换主分数。这样可以把“模型变强”和“题目变旧”分开观察。

上线前检查清单

• 模型版本和 T_train 是否有来源，未知程度是否如实记录。
• 每条样本是否记录最早来源而不是抓取时间。
• 时间不明、转载链冲突和近重复样本是否进入隔离区。
• 题目、答案、评分规则和哈希是否在 T_freeze 固定。
• 闭卷评测是否关闭检索，开放检索是否固定索引快照。
• 报告是否按时间窗拆分，并披露退役、补题和版本策略。

相关问题

只要样本发布时间晚于训练截止时间，就一定没有污染吗？

不一定。内容可能源自更早材料，可能存在提前泄露、转载、翻译或语义近重复；模型也可能在后续微调、持续训练或联网检索时接触它。

不知道模型训练截止时间怎么办？

不要伪造精确边界。可以把模型放入“截止时间未知”组，报告假设区间，并优先使用评测前刚冻结、来源明确且未公开答案的新题，同时降低结论强度。

时间测试集需要永久保密吗？

不必永久保密，但公开后应视为污染风险上升。常见做法是旧版本公开用于复现，新版本转为主测试，并持续滚动换题。

RAG 模型还能使用时间切分吗？

可以，但必须同时切分检索语料。固定索引快照和数据接入截止时间，并分别报告检索命中、答案生成和最终评分，避免把外部知识暴露误当成模型记忆。