AI 评测集怎么避免数据泄漏：训练集、验证集与时间切分的检查方法

客服工单分类模型在离线集上拿到 98% 准确率，接到新月份的工单后却明显变差，第一反应不该是立刻换模型。更常见的原因是评测集提前“看过”了训练信息：同一客户的近似工单被拆到两边，结案后的字段混进了预测特征，或者全量数据先做了标准化再切分。

数据泄漏的判断标准很简单：预测时本来拿不到的信息，是否在训练或评测阶段进入了特征、标签、调参过程？只要答案是“进入了”，离线分数就不能代表真实上线效果。

先把预测时点写成一条清晰的时间线

假设任务是“工单创建后 30 分钟内预测是否需要人工升级”。创建时间是 created_at，模型可用的字段包括标题、正文、渠道和创建时的客户等级；resolved_at、最终处理人和结案原因都发生在预测之后，不能进入特征。

建议先给每个字段标注三个问题：它在什么时候产生？预测时是否已经落库？它是否由人工处理结果反向写入？下面这个小表比“把所有列丢进模型”更能暴露风险。

这里的“可以”不是永久许可。客户等级如果每天更新，就应该保存创建时快照；直接读取今天的客户等级，仍可能把未来状态带回历史样本。

按数据关系选择随机切分或时间切分

随机切分适合样本相互独立、线上分布相对稳定的场景；带有客户、设备、会话或文章作者关系的数据，不能只看行数。一个客户在训练集写过“无法登录”，又在测试集写“登录仍失败”，模型可能只是记住了客户和措辞。

客服工单更接近时间流。可以把 1 月至 8 月作为训练集，9 月作为验证集，10 月作为最终测试集。这样评测问题从“随机抽中的旧样本能不能分类”变成“用过去训练，能否应对下个月的新输入”。如果业务有明显的客户隔离要求，还要在时间切分后继续按客户 ID 检查跨集合重复。

切分前先做实体去重和近似文本检查

去重不是只查完全相同的行。工单系统可能因为转派、补充描述或重新提交产生多条记录。至少建立两层检查：

1. 按业务事件 ID、客户 ID 加短时间窗口寻找同一事件的多条记录。
2. 对标题和正文做规范化后计算指纹，检查高相似文本是否跨越训练集与验证集。
3. 对同一会话、设备或订单建立分组键，要求同组样本进入同一个集合。

如果删掉重复样本后分数从 98% 降到 86%，这不是模型退化，而是评测终于接近了真实输入。删除规则也要写入数据版本说明，否则下次重跑时无法解释样本数变化。

把会学习统计量的预处理锁在训练集

标准化、缺失值填充、词表构建、特征选择和降维都可能从数据中学习统计量。正确顺序是先切分，再让训练集学习参数，最后把同一参数应用到验证集和测试集。用 scikit-learn 时，将预处理器和模型放入 Pipeline 能减少误把全量数据传给 fit 的机会。

from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression

model = Pipeline([
    ("fill", SimpleImputer(strategy="median")),
    ("scale", StandardScaler()),
    ("clf", LogisticRegression(max_iter=500)),
])

model.fit(X_train, y_train)
score = model.score(X_valid, y_valid)

不要先对 X_train + X_valid + X_test 调用 fit_transform，再把结果切开；全量均值、方差、词频和特征选择结果都可能泄漏测试集分布。验证集可以反复用于选参数，但测试集应留到方案冻结后再用。

用一张门禁表验收评测流水线

每次生成评测报告时，除了准确率、召回率或 F1，还应保存数据版本、切分边界和检查结果。下面的门禁表适合作为流水线中的失败条件：

• 时间门禁：所有特征的产生时间不晚于预测时点。
• 集合门禁：训练、验证、测试没有相同事件 ID，客户或会话分组没有跨集合。
• 预处理门禁：统计量来自训练集，测试集没有调用 fit。
• 结果门禁：去重和隔离后分数没有出现无法解释的异常跃升。
• 复现门禁：数据快照、切分脚本、随机种子和模型配置都有版本记录。

如果某一项无法证明，就把报告标记为“不可用于上线决策”，而不是用一个漂亮的分数覆盖不确定性。评测的价值在于提前暴露风险，不是把风险藏得更深。

常见问题

时间切分是不是永远比随机切分好？

不是。独立同分布且没有明显时间漂移的数据可以随机切分；只要预测未来、数据会演化或存在用户关系，时间和分组约束通常更接近线上。

验证集也会发生数据泄漏吗？

会。反复根据验证集调参数，等于逐渐适配验证集。方案稳定后应使用从未参与选择的测试集做最终核对。

删除重复样本后样本量不足怎么办？

先按业务事件合并，再扩大采集时间范围或补充新事件；不要为了保住样本量，把同一事件硬拆到不同集合。

线上分数下降一定是评测集泄漏吗？

不一定，还可能是分布漂移、标签延迟、特征服务不一致或线上数据质量变化。泄漏检查应与训练服务特征对齐和时间窗口监控一起进行。