SHAP Explainer 怎样为表格模型提供背景数据

给表格模型接入 SHAP 时，背景数据不是“随便抽几行训练集”这么简单：它决定了特征被遮蔽后用什么样本补回，也会影响期望输出和解释成本。我的习惯是先把背景矩阵独立出来，再根据特征相关性决定使用默认的独立遮罩还是 Partition。

官方地址：https://shap.readthedocs.io/en/latest/generated/shap.Explainer.html

先把背景数据和待解释数据分开

SHAP Explainer 的输入可以理解成三层：模型负责把一批表格特征映射成输出，待解释行是我们真正想回答的问题，背景数据则负责在某个特征被遮蔽时提供参照。背景数据不是待解释行的别名，也不要求包含所有训练样本。

官方接口允许把数组或 DataFrame 直接作为 masker。这个快捷写法会让 SHAP 使用背景矩阵进行标准遮罩；如果要更明确地表达表格语义，可以构造 shap.maskers.Independent 或 shap.maskers.Partition 后再传入 Explainer。

用背景矩阵创建一个可控的 Explainer

如果模型接收二维数组，先保证背景数据与待解释数据的列顺序、预处理方式和数据类型一致。下面的代码只展示初始化关系，不依赖具体训练库；model 可以替换成已经训练好的分类或回归模型。

import numpy as np
import pandas as pd
import shap

# 背景数据应经过与模型相同的列选择和预处理。
background = pd.DataFrame({
    "age": [28, 35, 42, 51],
    "income": [6500.0, 9200.0, 12800.0, 15600.0],
    "orders": [2, 4, 7, 9],
})

# 待解释行只代表当前请求，不要把它误当成背景分布。
sample = pd.DataFrame({
    "age": [39], "income": [10300.0], "orders": [5]
})

# 让 SHAP 在背景矩阵上进行遮罩；max_samples 限制积分时使用的背景规模。
masker = shap.maskers.Independent(background, max_samples=100)
explainer = shap.Explainer(model, masker)

# 解释前再次确认列顺序一致，避免把归因绑定到错误字段。
explanation = explainer(sample)
print(explanation.values.shape)  # 这里仅示意返回值的形状读取方式

Independent 的 max_samples 是上限，不是必须凑够的数量。官方文档给出的常见量级包括 1、10、100 或 1000；数据超过上限时会抽样，背景集合越大通常意味着更长的运行时间。实际选择应同时考虑样本代表性和解释延迟。

Independent 和 Partition 怎么选

这两个表格 masker 都使用背景数据进行遮罩，但表达的假设不同。Independent 把隐藏特征按独立替换的思路处理，适合希望得到简单、易沟通的特征贡献基线；Partition 则可以对特征建立层级结构，官方示例中默认建议使用 correlation 距离来构造聚类。

我的取舍通常是：如果业务只需要一个稳定的字段贡献排序，先用 Independent；如果收入、订单量等字段明显存在相关性，而且解释需要尽量保留这种分组关系，再考虑 Partition。这不是“Partition 永远更准确”，而是把相关性约束纳入了合作博弈的定义，解释结果的含义也随之变化。

import shap

# 独立遮罩：更直接地把背景矩阵作为替换参照。
independent = shap.maskers.Independent(background, max_samples=100)

# 分区遮罩：让特征相关性参与层级结构；correlation 是官方建议的常用度量。
partition = shap.maskers.Partition(
    background,
    max_samples=100,
    clustering="correlation",
)

# 两个解释器使用同一个模型，但解释假设不同，结果不要混在同一张报表里。
independent_explainer = shap.Explainer(model, independent)
partition_explainer = shap.Explainer(model, partition)

independent_result = independent_explainer(sample)
partition_result = partition_explainer(sample)

背景数据的选择规则落到表格里

背景矩阵最容易出问题的地方不是 API 拼写，而是数据语义不一致。它应当代表模型服务时希望比较的参照人群或业务状态；如果把明显偏离线上分布的样本、已经泄漏标签的信息或不同预处理版本混进来，解释的基线就会变得难以说明。

这里的“背景代表性”仍然是工程判断，不是 SHAP 自动替你完成的数据质量结论。更换背景集合后，应把背景版本、样本数、masker 类型和模型版本一起记录，避免几周后只看到一组无法复现的归因数字。

常见问题

可以把全部训练数据直接作为背景吗？

可以传入，但不代表应该这样做。背景数据过大可能增加遮罩计算成本；通常应先按业务分布抽取代表性样本，并用 max_samples 设定上限。

Independent 和 Partition 的结果谁更正确？

没有脱离任务语义的统一答案。前者使用独立替换的假设，后者显式加入特征层级结构；应根据你希望解释的特征关系选择，而不是只比较数值大小。

背景数据换了，模型需要重新训练吗？

通常不需要重新训练模型，但解释基线会改变。为了让报表可比，应固定背景数据版本并在结果中记录 masker 参数。