Transformers generate 怎样返回每步生成分数并定位异常输出
来源:17golang原创
时间:2026-11-16 20:46:01 308浏览 收藏
Transformers 的 generate() 默认更像一个“只给答案”的函数:你拿到生成后的 token,却看不到每一步为什么选中它。要做输出排查,关键不是改模型,而是在调用时同时打开 return_dict_in_generate=True 和 output_scores=True,再把每个生成 token 与 scores 中同一步的分数对齐。
官方地址:https://huggingface.co/docs/transformers/main/en/main_classes/text_generation
return_dict_in_generate让返回值带有结构化字段,output_scores才会保留逐步分数。scores[step]对应生成过程中的一步,不要把 prompt 的 token 当成生成 token。- 低分、重复和提前停止是三类不同信号,不能只看最终文本猜原因。
先把 generate 改成可解释的返回对象
我通常先保留原来的输入准备方式,只改生成参数。这样排查结果与原流程可比较,也不会把训练损失、微调指标混进来。output_scores 返回的是每个生成步的分数张量;它不是一张“整段文本的总分表”。
import torch
# 让 generate 返回结构化对象,并保留每个生成步的候选分数
generated = model.generate(
**inputs,
max_new_tokens=64, # 只限制新生成的 token 数
return_dict_in_generate=True, # 让结果带 sequences、scores 等字段
output_scores=True, # 保存每一步的候选分数
)
sequences = generated.sequences
step_scores = generated.scores
print(sequences.shape)
print(len(step_scores)) # 通常对应实际生成的步数

把每步分数对齐到实际生成 token
sequences 通常包含原始输入和新生成部分,所以要先用输入长度切片。批量输入时每条样本的 prompt 长度可能不同,最好使用 attention mask 计算各自的有效长度,不要写死一个全局下标。
# 用 attention_mask 找到每条样本的有效 prompt 长度
prompt_lengths = inputs["attention_mask"].sum(dim=1).tolist()
for row, prompt_len in enumerate(prompt_lengths):
generated_ids = sequences[row, prompt_len:]
text = tokenizer.decode(generated_ids, skip_special_tokens=False)
print(f"样本 {row} 的新文本:{text}")
# 每一步取出该样本最终选中的 token,和对应分数放在一起
for step, scores_at_step in enumerate(step_scores):
if step >= generated_ids.shape[0]:
break
token_id = generated_ids[step].item()
logits = scores_at_step[row]
probability = torch.softmax(logits, dim=-1)[token_id].item()
token_text = tokenizer.decode([token_id], skip_special_tokens=False)
print(step, repr(token_text), round(probability, 4))
这里的顺序很重要:先从 sequences 取实际选中的 token,再到同一步的分数向量中按 token id 取值。若直接把整段序列和 scores 从第0步硬拼,得到的“异常位置”往往会整体错一截。
| 字段 | 看什么 | 常见误读 |
|---|---|---|
sequences | 最终生成的 token 序列 | 把 prompt 也算进新生成长度 |
scores[step] | 该步对词表候选的分数 | 当成整段文本的最终概率 |
sequence_scores | 部分 beam search 输出中的序列级分数 | 与贪心或采样结果直接横向比较 |
用 token 级概率和分数定位异常
诊断时不要只打印最低分 token。先把它放回上下文:它是否是重复片段的起点,是否紧跟着特殊 token,是否只是采样温度较高造成的正常波动。下面的阈值只是排查入口,不是模型质量的统一标准。
previous_token_id = None
for step, scores_at_step in enumerate(step_scores):
if step >= generated_ids.shape[0]:
break
token_id = generated_ids[step].item()
logits = scores_at_step[row]
probability = torch.softmax(logits, dim=-1)[token_id].item()
token_text = tokenizer.decode([token_id], skip_special_tokens=False)
# 用局部信号标记候选异常,阈值应按业务样本校准
low_probability = probability

低概率只说明当前 token 在这一步的相对选择不占优势;重复 token 可能来自提示词、解码策略或模型本身;提前停止则要结合 EOS、max_new_tokens、stop_strings 等边界一起判断。三者应分别记录,后续才有可比的样本。
按生成策略选择可比指标
贪心和采样更适合看逐步 token 分数与上下文,beam search 还可能提供序列级分数。不同解码策略的分数形成过程不同,不能拿一次采样的 token 概率和一次 beam search 的序列分数直接排排行榜。
- 贪心:关注最低分步、重复片段和 EOS 是否提前出现。
- 采样:同时记录 temperature、top-k 或 top-p,否则同一 prompt 的概率轨迹无法复现。
- Beam search:需要保存 beam 数和序列级字段,并把长度惩罚等配置写进诊断记录。
常见问题
为什么 generated.scores 是空的?
最常见原因是没有设置 output_scores=True,或调用的封装层没有把该参数传给 generate()。
scores 的长度为什么比 max_new_tokens 小?
模型可能先遇到 EOS、停止字符串或其他停止条件;max_new_tokens 是上限,不是必须生成的步数。
能不能用 scores 直接判断答案正确?
不能。它反映的是当前解码过程中的相对选择,不能替代事实核验、任务评测或人工抽样。
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
160 收藏
-
386 收藏
-
419 收藏
-
141 收藏
-
164 收藏
-
416 收藏
-
267 收藏
-
185 收藏
-
328 收藏
-
156 收藏
-
科技周边 · 人工智能 | 1小时前 | 人工智能 · openai · 多轮对话 Responses API conversation state OpenAI API previous_response_id121 收藏
-
470 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 485次学习