登录
推荐 文章 Go 技术 课程 下载 专题 AI
首页 >  科技周边 >  人工智能

Transformers GenerationConfig stop_strings 怎样让文本生成按字符串停止

来源:17golang原创

时间:2026-11-17 23:43:17 375浏览 收藏

如果希望 Transformers 在输出某个字符串后停止,关键不是只在配置里写一个字符串,而是让 stop_strings 和对应的 tokenizer 一起进入 generate。停止条件会根据 tokenizer 的词表判断字符串是否已经出现在生成序列的末端,命中后结束生成;因此它既能处理一个 token 的标记,也能处理跨多个 token 的字符串。

官方地址:https://huggingface.co/docs/transformers/main_classes/text_generation

最小可靠写法是:在 GenerationConfig 中声明 stop_strings,调用 model.generate 时再传入同一个 tokenizer。输出序列通常仍包含停止标记,展示前是否裁掉由业务决定。

把 stop_strings 放进 GenerationConfig

生成配置适合集中保存长度、采样和停止条件。下面的例子用一个文本标记作为回答边界;代码只展示调用关系,不依赖某个具体模型的运行结果。

from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

# 模型和 tokenizer 必须来自同一个模型目录,保证 token 映射一致
model_name = "your-model-id"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

prompt = "请用两句话说明缓存穿透。"
# 返回张量,便于后面区分输入 token 与新生成 token
inputs = tokenizer(prompt, return_tensors="pt")

generation_config = GenerationConfig(
    max_new_tokens=96,
    do_sample=False,
    # 可以传一个字符串,也可以传字符串列表
    stop_strings=[""],
)

# stop_strings 需要 tokenizer 参与字符串到词表的匹配
outputs = model.generate(
    **inputs,
    generation_config=generation_config,
    tokenizer=tokenizer,
)

这里最容易漏掉的是 tokenizer=tokenizer。停止字符串不是简单的 Python endswith 检查:生成器需要知道字符串如何被当前词表切分,才能判断它是否在新 token 的末端完成。模型、tokenizer 和输入也应该保持同一套词表语义。

Transformers GenerationConfig stop_strings tokenizer input_ids generate 与输出序列的关系
图1:stop_strings 接入 Transformers generate 的静态结构说明图,不是运行截图。

直接传参数还是保存到配置里

一次性的调用可以把停止字符串直接传给 generate;需要复用同一套推理策略时,用 GenerationConfig 更容易集中管理。两种写法表达的是同一个停止意图,但不要同时用两套不同的值,否则排查时很难判断最终生效的配置来自哪里。

# 适合临时调用:停止条件紧邻本次 generate,便于阅读
outputs = model.generate(
    **inputs,
    stop_strings=["", ""],
    tokenizer=tokenizer,
    max_new_tokens=96,
)

# 适合复用:把策略保存成一个配置对象
config = GenerationConfig.from_model_config(model.config)
config.max_new_tokens = 96
config.stop_strings = ["", ""]

# 仍然要把 tokenizer 交给生成调用
outputs = model.generate(**inputs, generation_config=config, tokenizer=tokenizer)

字符串列表表示“命中其中任意一个即可停止”。如果业务上只允许一种协议标记,优先使用单个不容易出现在自然文本中的标记;如果要兼容两套上游模板,再把可接受的结束标记放进列表,并在结果中记录究竟命中了哪一个。

理解字符串和 token 的边界

停止字符串和 token 不是一一对应关系。一个结束标记可能被拆成两个或更多 token,也可能和相邻文本共享 token 的一部分。Transformers 的停止条件会结合词表处理这些边界,但它只关注生成序列的末端,不会因为 prompt 里早就出现了同样的文字就提前结束。

这也是为什么不能把逻辑替换成“每生成一个 token 就用 Python 字符串查找”的简化版本:解码前看到的是 token id,解码后又可能丢失特殊 token 或改变空格表现。让框架使用 tokenizer 处理停止条件,业务层只负责展示和存储策略。

Transformers 停止字符串跨 token 匹配并区分 prompt 与生成后缀
图2:停止字符串与 token 边界的静态关系说明图,不是运行截图。

只截取新生成内容,再决定是否裁掉标记

对 decoder-only 模型,generate 返回的序列通常包含原始 prompt。要把回答与输入分开,应按输入长度切片,再解码新 token;否则你可能把 prompt 中的同名标记一起写入结果。

# decoder-only 模型的输入长度,用于去掉返回序列中的 prompt
prompt_token_count = inputs["input_ids"].shape[-1]
new_token_ids = outputs[:, prompt_token_count:]

# 只解码新增内容,避免把输入 prompt 混入展示文本
generated_text = tokenizer.batch_decode(
    new_token_ids,
    skip_special_tokens=True,
)[0]

stop_markers = ["", ""]
# 停止标记是否展示是业务决策;这里选择只在末尾裁掉命中的标记
for marker in stop_markers:
    if generated_text.endswith(marker):
        generated_text = generated_text[:-len(marker)]
        break

裁剪只应该发生在末尾。不要对整段文本做全局替换,否则回答正文中合法出现的同一字符串也会被删除。对于 encoder-decoder 模型,输入与输出序列的组织方式不同,不能机械套用 decoder-only 的输入长度切片;应按该模型的返回结构处理。

没有命中时用长度上限兜底

stop_strings 是提前结束条件,不是长度保证。模型可能一直没有生成目标标记,最终由 max_new_tokens 或其他生成边界结束,所以业务层应该把“命中停止字符串”和“达到长度上限”区分记录。

现象优先检查处理建议
没有提前停止是否传入 tokenizer;停止标记是否真的出现在模型可能生成的文本中保留长度上限,并记录未命中的结束原因
结果末尾带有标记展示层是否需要协议标记仅在字符串位于末尾时裁剪
多条样本长度不同是否按 batch 独立解码和记录结束原因逐样本处理,不用第一条样本的状态覆盖整个 batch
输入里有同样的标记是否错误地对完整 decoded 文本做全局查找先切出新生成 token,再做末尾判断

几个容易踩到的边界

  • 空字符串不要作为停止条件。它没有清晰的业务边界,应该在配置进入生成层前拦截。
  • 标记要和模板约定一致。例如上游协议使用 ,不要在一处写成带空格的变体,再期待两者语义相同。
  • 不要把 stop_strings 当作内容过滤器。它只负责结束生成,不负责删除敏感词、纠正格式或保证回答完整。
  • 批量结果要逐条归因。同一次 batch 中可以有的样本命中标记、有的样本达到长度上限,记录结构不要只保留一个全局布尔值。

常见问题

stop_strings 为什么必须传 tokenizer?

停止器需要根据 tokenizer 的词表判断字符串如何跨 token 完成匹配,因此官方接口要求把 tokenizer 传给生成调用。

停止标记会自动从返回文本里消失吗?

不要把“停止生成”和“裁剪返回文本”混为一谈。生成序列可能仍包含触发停止的内容,展示层要不要裁剪应由业务代码明确处理。

prompt 中已经有停止字符串会怎样?

停止条件关注生成序列末端的新内容,不应把 prompt 中已有的同名字符串当成这次生成的命中结果。解码时仍建议先切出新生成 token,避免业务逻辑误判。

可以同时使用多个 stop_strings 吗?

可以传字符串列表,任意一个停止字符串匹配时即可结束。建议把列表与模板协议一起版本化,并记录实际命中的标记。

小结

把 stop_strings 看成生成协议的一部分:配置层声明停止条件,generate 接收同一个 tokenizer,返回后先分离 prompt 与新 token,再决定是否裁剪末尾标记。最后保留 max_new_tokens 作为兜底,并把“命中标记”和“长度结束”分开记录,批量生成时每条样本独立处理。

声明:本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>