量化校准数据怎么配置或排查

量化校准数据的核心不是“样本越多越好”，而是让量化阶段看到和线上尽可能相似的激活分布。先确认量化路径：权重-only 的 GPTQ/AWQ 通常需要校准集来决定量化行为，ONNX Runtime 的静态量化需要用校准输入估计激活范围；动态量化则在推理时计算部分参数，未必需要单独的校准集。如果只是把一批随机文本或随机张量塞进去，流程可能跑完，结果却会在真实请求上明显掉点。

官方资料入口：https://huggingface.co/docs/transformers/main_classes/quantization、https://huggingface.co/docs/optimum/、https://onnxruntime.ai/docs/performance/model-optimizations/quantization.html

配置校准数据时，优先保证“方法匹配、输入一致、分布代表、结果可回归”四件事；排查时按数据读取、输入契约、激活范围、任务精度四层逐层缩小范围。

要点速览：先选量化路线，再按真实流量分层抽样；固定 tokenizer 或预处理、截断和 batch；最后用一小份从未参与校准的回归集比较浮点基线与量化结果。

先判断：这条量化路线是否真的需要校准

不同工具把“校准”的含义放在不同位置，不能只看“INT8”或“4bit”这些位宽名称。Transformers 文档中的 GPTQ 配置会接收 tokenizer 和 dataset；AWQ 属于 activation-aware 方法，自行量化时也需要用数据观察激活。Optimum 则把不同后端拆开，ONNX Runtime、Intel/OpenVINO、FX 和 GPTQ 的准备方式并不完全相同。

选择时不要只追求模型文件变小。若目标后端本身不支持某种算子，校准集再完善也解决不了部署问题；若线上输入类型复杂，动态方案可能更省准备成本，但运行时开销要单独测量。

代表性样本应该怎样组成

先从真实请求中抽取脱敏样本，再按任务和输入形态分层。文本模型至少要覆盖常见问答、长上下文、短指令、代码或结构化内容；视觉模型要覆盖线上常见的尺寸、裁剪和光照；多模态模型则要把文本与图像的配对关系保留下来。边界样本可以少量加入，例如接近最大长度、空字段、极短输入和包含特殊 token 的样本，但不能让边界样本代表全部流量。

校准数据必须沿用推理时的预处理：同一个 tokenizer、同样的 padding 与 truncation 策略、相同的图像归一化和输入字段名。ONNX Runtime 官方文档特别强调，代表性输入比随机输入更重要；随机数据很容易得到不准确的量化结果。

样本数量没有脱离任务的万能答案。更稳妥的做法是先用一份小而均衡的集合跑通，再逐步扩大，并观察量化参数和验证指标是否趋于稳定。每次变更都记录样本版本、抽样规则、最大长度、batch、随机种子和预处理版本，后续才知道“变好”究竟来自数据变了还是算法参数变了。

把配置写成一张可复查的清单

配置文件或运行参数至少要能回答五个问题：样本从哪里来、如何预处理、送入模型的字段叫什么、每个字段是什么类型和形状、校准输出如何保存。文本任务还要明确是否保留 attention mask、是否动态 padding，以及超长文本是截断还是分块。图像任务要确认通道顺序、尺寸和数值范围，不能把训练时的归一化遗漏在校准阶段。

建议把校准配置与评估配置分开。校准集只用于估计范围或量化误差，回归集必须独立，且固定一批能代表业务关键路径的样本。若校准和评估使用同一批数据，结果容易被误读成泛化能力。

遇到“找不到输入名”或“维度不匹配”，先打印导出模型的输入签名，再对照数据读取器逐项核对，而不是立即增加样本数。遇到“量化完成但输出异常”，先比较浮点模型与未量化导出模型，排除导出、tokenizer 或预处理本身的问题。

按现象定位：四层排查顺序

1. 数据读取层：检查文件是否为空、样本是否重复、标签或文本字段是否缺失，随机抽几条确认内容没有被清洗成空值。
2. 输入契约层：对照模型签名检查输入名、dtype、shape、padding 和 mask；多输入模型要确认字段没有错位。
3. 激活范围层：如果少数长文本或高亮度图像导致范围被拉宽，可按真实比例保留它们，再考虑 MinMax、Entropy 或 Percentile 等校准方法，不要直接删除异常样本。
4. 任务回归层：把掉点样本按长度、任务类型和输出类别分组，判断是整体偏差、某一类输入失真，还是特定算子造成误差。

排查时一次只改变一个变量。例如先固定量化算法，只替换校准集；下一轮固定数据，只比较校准方法。若同时改位宽、group size、样本数和截断长度，最后即使指标变化，也很难知道真正原因。

什么时候可以采用这份量化配置

至少保留三组结果：浮点基线、量化模型、线上代表性回归集。除了任务指标，还要记录延迟、峰值内存、模型加载时间和失败样本。对生成式模型，不能只看平均文本相似度，还应抽查长上下文、结构化输出和安全边界；对分类或检测模型，要看容易混淆的类别，而不只是总体准确率。

常见问题

校准数据能直接用随机输入吗？

不建议。随机输入可以用于检查数据读取器是否连通，但不能代表线上激活分布。正式校准应使用经过同一预处理链路的真实或合成代表性样本，并保留独立回归集。

是不是样本越多，量化精度就一定越好？

不是。重复样本只会重复强调同一分布，偏科的样本越多反而可能让其他业务输入的范围估计变差。先保证覆盖，再观察增加样本是否带来稳定的回归收益。

量化校准数据的正确配置，本质上是一份可解释的输入契约和实验记录。把方法、样本、预处理、校准参数与回归结果一起保存，下一次更换模型或后端时，排查才不会从猜测开始。