合成数据能否替代真实样本：覆盖率与偏差检查方法

合成数据不能因为“看起来像真实数据”就直接替代真实样本。更稳妥的结论是：它可以补足训练量、扩展少数场景、制作测试夹具，但最终是否能替代某一部分真实数据，要看覆盖率、统计关系、下游任务效果和偏差风险四组证据。真实样本应至少保留一份不参与生成和调参的留出集。

先把“替代”拆成具体任务，再用真实留出集验证。只要合成数据遗漏关键长尾、破坏特征关系，或让真实测试集上的结果变差，就只能作为补充，不能作为等价替代。

先定义“替代”到底替代什么

先写清样本用途：是训练分类器、扩展少数类别、测试异常输入，还是降低敏感数据暴露？不同用途的合格线不同。训练补充可以接受一定的分布偏移，最终效果评估却不能把合成集当作真实测试集。

建议先固定一份真实留出集，再把真实数据按业务重要性分成常见类别、少数类别和长尾组合。记录每个分层的样本数、标签比例、缺失率和关键字段范围。这样才能判断“覆盖率变高”是否只是增加了常见样本。

四层检查把“像不像”变成可决策证据

第一层是覆盖率。按类别、数值区间、时间段、地区或设备等业务分组比较真实集与合成集，检查是否覆盖了必须出现的组合。长尾场景不能只看占比，还要看是否至少出现并通过人工核对。

第二层是分布。比较均值、分位数、缺失率和类别频率；对连续变量可以使用 KS 距离，对分箱后的业务指标可以记录 PSI。指标本身不是通行证，应该结合业务阈值解释偏差来自哪里。

第三层是关系。单字段分布都接近，不代表联合关系正确。要比较相关性、条件分布和关键组合，重点找出不可能的组合、被过度平滑的极端值，以及由生成器重复复制的模式。

第四层是任务与风险。用合成数据训练或增强模型，再只在真实留出集上测效果；同时抽样给领域人员检查标签、逻辑和边界案例。还要记录隐私泄露、成员可推断性和偏差放大风险。

用真实留出集做一次可重复的对照

可以把检查结果整理成“真实训练、合成训练、混合训练”三组实验，保持模型、特征处理和真实测试集不变。若混合训练只在合成测试集上变好、在真实留出集上变差，说明合成数据没有代表目标场景。下面的代码只展示比较思路，实际阈值应由业务风险决定：

import pandas as pd

# 用相同分箱比较真实集和合成集的类别比例
def compare_rate(real: pd.Series, synthetic: pd.Series) -> pd.DataFrame:
    # 统一缺失值标签，避免两份数据的空值被当成不同类别
    real_rate = real.fillna("").value_counts(normalize=True)
    syn_rate = synthetic.fillna("").value_counts(normalize=True)
    result = pd.concat([real_rate, syn_rate], axis=1).fillna(0)
    result.columns = ["真实比例", "合成比例"]
    # 差异只用于定位问题，不能单独证明可以替代
    result["绝对差异"] = (result["真实比例"] - result["合成比例"]).abs()
    return result.sort_values("绝对差异", ascending=False)

# 先看差异最大的分组，再回到长尾样本做人工复核
print(compare_rate(real_df["label"], synthetic_df["label"]).head(10))

按证据选择补充、加权还是禁止替代

如果覆盖率不足但逻辑关系稳定，可增加针对性合成样本；如果类别比例偏斜，可在训练阶段加权，但要重新检查真实留出集；如果关系错误、标签不可靠或隐私风险无法解释，就不要把这批数据用于关键任务。

最终应形成一张短清单：覆盖了哪些分组，遗漏了哪些长尾；哪些字段分布和关系偏差最大；真实留出集上的指标是否改善；人工抽检发现了什么；允许用于训练、测试还是仅用于演示。每次变更生成器、提示词、采样比例或真实来源，都重新跑这张清单。

常见问题

合成数据比例越高，训练效果越好吗？

不一定。比例提高可能带来更多边界样本，也可能让模型适应生成器的固定模式。应逐步增加比例，并始终用同一份真实留出集比较。

只比较均值和类别占比够不够？

不够。均值接近时，联合关系、长尾组合、标签质量和隐私风险仍可能完全不同，至少要补充关系检查、任务验证和人工抽检。

参考资料：https://docs.aws.amazon.com/wellarchitected/latest/responsible-ai-lens/raidp02-bp04.html

参考资料：https://learn.microsoft.com/en-us/azure/well-architected/ai/test