CLIP候选标签变化后概率为什么跟着变

我第一次把 CLIP 接到一个可配置的标签列表时，遇到过一个很容易误判的现象：候选标签里只增加了一个选项，原来标签的概率也跟着变了。看起来像模型重新“看懂”了图片，实际上通常只是归一化分母变了。

先给结论：CLIP 的 logits_per_image 是图像与文本候选的相似度分数；只有对当前候选集合沿标签维度做 softmax 后，才得到这一组标签内部的相对概率。因此，增删候选标签会改变概率分布，即使保留下来的标签和图片、模型、原始 logits 都没有变化。

官方文档：https://huggingface.co/docs/transformers/model_doc/clip

不同候选集合里的 softmax 概率不是同一把尺子。要跨集合比较，优先保留原始 logits，或者固定候选集合后再统一设阈值。

1. 先把 CLIP 的分数和概率分开看

CLIP 会分别得到图像特征和文本特征，把它们投影到相同的潜在空间后计算相似度。对一张图和多条候选文本，模型返回的是一行分数，通常可以通过 outputs.logits_per_image 取得。

这一行分数可以写成 [scat, sdog, scar]。它们表达的是相对匹配程度，还不是“猫的概率 70%”这种概率解释。常见的后处理是：

pi = exp(si) / Σj∈C exp(sj)

这里的 C 就是本次传入的候选标签集合。分母会把集合里的每个分数都纳入计算，所以概率的含义是“在这组候选中，它占多大份额”，而不是脱离候选集合的绝对置信度。

2. 为什么只新增一个标签，旧概率也会变

假设模型对同一张图给出三个原始分数：

• cat = 8
• dog = 7
• car = 6

第一次只拿 cat 和 dog 比较，分母是 e8 + e7。如果后来把 car 加进来，分母就变成 e8 + e7 + e6。因为分母变大，cat 和 dog 的概率都会下降；但它们之间的相对顺序仍可能不变。

这不是 CLIP 在第二次推理时修改了图像特征，也不是标签字符串本身一定触发了模型漂移，而是同一组分数被放进了不同的归一化集合。可以把它理解为“同一块蛋糕换了分母”，不是“原来的那一块被重新烤了一次”。

3. 用最小代码复现这个现象

下面的例子不重新加载模型，只用一组假设的 logits 演示数学关系。这样更容易把“模型打分”和“集合归一化”拆开看。

import torch

# 假设模型对 cat、dog、car 给出的原始相似度分数
logits = torch.tensor([[8.0, 7.0, 6.0]])

# 第一次只在 cat 和 dog 之间归一化
small_set_probs = torch.softmax(logits[:, :2], dim=1)

# 第二次把 car 加进候选集合，cat 和 dog 的原始分数没有改动
large_set_probs = torch.softmax(logits, dim=1)

# 观察同一个 cat 在两个候选集合中的概率不同
print(small_set_probs[0, 0].item())
print(large_set_probs[0, 0].item())

这个例子里，切片只改变了参与 softmax 的列，不改变 cat 与 dog 的 logits。实际使用 Transformers 的 CLIP 时，官方示例也是从 logits_per_image 出发，再沿候选标签维度调用 softmax(dim=1)。

排查时可以把两个问题分成两层：

1. 模型层：同一张图片、同一组文本输入，logits_per_image 是否变化。
2. 后处理层：候选列是否增删，softmax 的维度和分母是否变化。

如果 logits 没变而概率变了，优先检查第二层。尤其不要只记录最终概率，否则很难判断变化来自模型、文本模板，还是候选集合。

4. 工程上应该比较什么

如果只关心 cat 比 dog 更匹配多少，可以看 scat - sdog。在只包含这两个标签的 softmax 中，这个差值还对应两者的对数几率；当候选集合增加时，二者的差值不会因为共同分母而改变，但各自占总集合的概率会改变。

如果业务必须返回一个看起来像百分比的值，建议把候选集合、文本模板、预处理和校准方法写进接口协议。例如同一个接口不要一会儿返回“猫/狗”，一会儿返回“猫/狗/汽车”，却继续使用同一个 0.8 阈值解释为绝对可信度。

5. 动态标签、缓存与阈值的三个坑

坑一：把集合内概率当成绝对概率

候选集越窄，最高标签越容易占据较大份额；候选集越宽，原有标签可能被更多竞争者分走。两次请求返回的 0.82，如果候选集合不同，业务含义也可能不同。

坑二：缓存只存概率，不存候选集

推荐至少同时保存标签列表、文本模板标识、原始 logits 或模型输出版本。否则后续只看到一个数，无法知道它是在两类集合还是二十类集合中得到的。

坑三：用新增标签“稀释”旧标签来做校准

加入一个低分标签会改变所有概率，但它并没有真正修复模型的偏差。如果需要跨请求一致的分数，应固定候选池或单独做校准，而不是靠不断添加无关标签制造一个看似合适的概率。

常见问题

只改变候选标签文字，logits 也可能变吗？

会。文本本身参与 CLIP 的文本编码，改写标签或提示模板可能改变文本特征和原始相似度。本文讨论的是另一种更窄的情况：原始 logits 已经固定，只改变参与 softmax 的候选集合。

新增标签后，原来的第一名一定会降到第二名吗？

不一定。新增标签会改变概率分母，但排序是否改变取决于新增标签的原始分数。它的分数低时，旧标签通常仍保持原来的相对顺序。

应该总是使用 logits 而不是 softmax 吗？

不是。固定集合内的分类展示、排序和接口输出可以使用 softmax；只是跨不同候选集合比较时，应优先使用原始 logits、logit 差值或经过统一校准的分数。

这个现象只发生在 CLIP 吗？

只要模型输出在候选维度上做 softmax，候选集合变化就可能改变归一化概率。CLIP 的例子便于观察，但工程上的判断应针对具体模型的输出维度和后处理实现。

小结

CLIP 候选标签变化后概率跟着变，核心原因是 softmax 分母随候选集合变化。把 logits_per_image 看作相似度分数，把 softmax 概率看作当前集合内的相对分配，就能解释这个现象。

实践中可以记住三点：固定标签集时再设概率阈值；动态标签集优先记录 logits 和候选集；需要跨请求比较时使用统一候选池或单独校准。这样既能保留 softmax 的展示价值，也不会把集合变化误判成模型能力变化。