登录
推荐 文章 Go 技术 课程 下载 专题 AI
首页 >  科技周边 >  人工智能

Transformers generate 怎样返回每步生成分数并定位异常输出

来源:17golang原创

时间:2026-11-16 20:46:01 308浏览 收藏

Transformers 的 generate() 默认更像一个“只给答案”的函数:你拿到生成后的 token,却看不到每一步为什么选中它。要做输出排查,关键不是改模型,而是在调用时同时打开 return_dict_in_generate=True 和 output_scores=True,再把每个生成 token 与 scores 中同一步的分数对齐。

官方地址:https://huggingface.co/docs/transformers/main/en/main_classes/text_generation

要点速览
  • return_dict_in_generate 让返回值带有结构化字段,output_scores 才会保留逐步分数。
  • scores[step] 对应生成过程中的一步,不要把 prompt 的 token 当成生成 token。
  • 低分、重复和提前停止是三类不同信号,不能只看最终文本猜原因。

先把 generate 改成可解释的返回对象

我通常先保留原来的输入准备方式,只改生成参数。这样排查结果与原流程可比较,也不会把训练损失、微调指标混进来。output_scores 返回的是每个生成步的分数张量;它不是一张“整段文本的总分表”。

import torch

# 让 generate 返回结构化对象,并保留每个生成步的候选分数
generated = model.generate(
    **inputs,
    max_new_tokens=64,              # 只限制新生成的 token 数
    return_dict_in_generate=True,   # 让结果带 sequences、scores 等字段
    output_scores=True,              # 保存每一步的候选分数
)

sequences = generated.sequences
step_scores = generated.scores
print(sequences.shape)
print(len(step_scores))             # 通常对应实际生成的步数
Transformers generate 返回对象中 prompt、generated token、sequences 与 scores 的结构说明图
图1:生成结果对象的结构说明图,展示 prompt、sequences 和逐步 scores 的对应关系。

把每步分数对齐到实际生成 token

sequences 通常包含原始输入和新生成部分,所以要先用输入长度切片。批量输入时每条样本的 prompt 长度可能不同,最好使用 attention mask 计算各自的有效长度,不要写死一个全局下标。

# 用 attention_mask 找到每条样本的有效 prompt 长度
prompt_lengths = inputs["attention_mask"].sum(dim=1).tolist()

for row, prompt_len in enumerate(prompt_lengths):
    generated_ids = sequences[row, prompt_len:]
    text = tokenizer.decode(generated_ids, skip_special_tokens=False)
    print(f"样本 {row} 的新文本:{text}")

    # 每一步取出该样本最终选中的 token,和对应分数放在一起
    for step, scores_at_step in enumerate(step_scores):
        if step >= generated_ids.shape[0]:
            break
        token_id = generated_ids[step].item()
        logits = scores_at_step[row]
        probability = torch.softmax(logits, dim=-1)[token_id].item()
        token_text = tokenizer.decode([token_id], skip_special_tokens=False)
        print(step, repr(token_text), round(probability, 4))

这里的顺序很重要:先从 sequences 取实际选中的 token,再到同一步的分数向量中按 token id 取值。若直接把整段序列和 scores 从第0步硬拼,得到的“异常位置”往往会整体错一截。

字段看什么常见误读
sequences最终生成的 token 序列把 prompt 也算进新生成长度
scores[step]该步对词表候选的分数当成整段文本的最终概率
sequence_scores部分 beam search 输出中的序列级分数与贪心或采样结果直接横向比较

用 token 级概率和分数定位异常

诊断时不要只打印最低分 token。先把它放回上下文:它是否是重复片段的起点,是否紧跟着特殊 token,是否只是采样温度较高造成的正常波动。下面的阈值只是排查入口,不是模型质量的统一标准。

previous_token_id = None
for step, scores_at_step in enumerate(step_scores):
    if step >= generated_ids.shape[0]:
        break
    token_id = generated_ids[step].item()
    logits = scores_at_step[row]
    probability = torch.softmax(logits, dim=-1)[token_id].item()
    token_text = tokenizer.decode([token_id], skip_special_tokens=False)

    # 用局部信号标记候选异常,阈值应按业务样本校准
    low_probability = probability 
Transformers 生成步、token、score、probability 与低分重复提前停止诊断的关系图
图2:token 级诊断说明图,展示生成步与异常信号的对应关系。

低概率只说明当前 token 在这一步的相对选择不占优势;重复 token 可能来自提示词、解码策略或模型本身;提前停止则要结合 EOS、max_new_tokens、stop_strings 等边界一起判断。三者应分别记录,后续才有可比的样本。

按生成策略选择可比指标

贪心和采样更适合看逐步 token 分数与上下文,beam search 还可能提供序列级分数。不同解码策略的分数形成过程不同,不能拿一次采样的 token 概率和一次 beam search 的序列分数直接排排行榜。

  • 贪心:关注最低分步、重复片段和 EOS 是否提前出现。
  • 采样:同时记录 temperature、top-k 或 top-p,否则同一 prompt 的概率轨迹无法复现。
  • Beam search:需要保存 beam 数和序列级字段,并把长度惩罚等配置写进诊断记录。

常见问题

为什么 generated.scores 是空的?

最常见原因是没有设置 output_scores=True,或调用的封装层没有把该参数传给 generate()。

scores 的长度为什么比 max_new_tokens 小?

模型可能先遇到 EOS、停止字符串或其他停止条件;max_new_tokens 是上限,不是必须生成的步数。

能不能用 scores 直接判断答案正确?

不能。它反映的是当前解码过程中的相对选择,不能替代事实核验、任务评测或人工抽样。

声明:本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>