Transformers GenerationConfig stop_strings 怎样让文本生成按字符串停止
来源:17golang原创
时间:2026-11-17 23:43:17 375浏览 收藏
如果希望 Transformers 在输出某个字符串后停止,关键不是只在配置里写一个字符串,而是让 stop_strings 和对应的 tokenizer 一起进入 generate。停止条件会根据 tokenizer 的词表判断字符串是否已经出现在生成序列的末端,命中后结束生成;因此它既能处理一个 token 的标记,也能处理跨多个 token 的字符串。
官方地址:https://huggingface.co/docs/transformers/main_classes/text_generation
最小可靠写法是:在GenerationConfig中声明stop_strings,调用model.generate时再传入同一个tokenizer。输出序列通常仍包含停止标记,展示前是否裁掉由业务决定。
把 stop_strings 放进 GenerationConfig
生成配置适合集中保存长度、采样和停止条件。下面的例子用一个文本标记作为回答边界;代码只展示调用关系,不依赖某个具体模型的运行结果。
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
# 模型和 tokenizer 必须来自同一个模型目录,保证 token 映射一致
model_name = "your-model-id"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)
prompt = "请用两句话说明缓存穿透。"
# 返回张量,便于后面区分输入 token 与新生成 token
inputs = tokenizer(prompt, return_tensors="pt")
generation_config = GenerationConfig(
max_new_tokens=96,
do_sample=False,
# 可以传一个字符串,也可以传字符串列表
stop_strings=[""],
)
# stop_strings 需要 tokenizer 参与字符串到词表的匹配
outputs = model.generate(
**inputs,
generation_config=generation_config,
tokenizer=tokenizer,
)
这里最容易漏掉的是 tokenizer=tokenizer。停止字符串不是简单的 Python endswith 检查:生成器需要知道字符串如何被当前词表切分,才能判断它是否在新 token 的末端完成。模型、tokenizer 和输入也应该保持同一套词表语义。

直接传参数还是保存到配置里
一次性的调用可以把停止字符串直接传给 generate;需要复用同一套推理策略时,用 GenerationConfig 更容易集中管理。两种写法表达的是同一个停止意图,但不要同时用两套不同的值,否则排查时很难判断最终生效的配置来自哪里。
# 适合临时调用:停止条件紧邻本次 generate,便于阅读
outputs = model.generate(
**inputs,
stop_strings=["", "
字符串列表表示“命中其中任意一个即可停止”。如果业务上只允许一种协议标记,优先使用单个不容易出现在自然文本中的标记;如果要兼容两套上游模板,再把可接受的结束标记放进列表,并在结果中记录究竟命中了哪一个。
理解字符串和 token 的边界
停止字符串和 token 不是一一对应关系。一个结束标记可能被拆成两个或更多 token,也可能和相邻文本共享 token 的一部分。Transformers 的停止条件会结合词表处理这些边界,但它只关注生成序列的末端,不会因为 prompt 里早就出现了同样的文字就提前结束。
这也是为什么不能把逻辑替换成“每生成一个 token 就用 Python 字符串查找”的简化版本:解码前看到的是 token id,解码后又可能丢失特殊 token 或改变空格表现。让框架使用 tokenizer 处理停止条件,业务层只负责展示和存储策略。

只截取新生成内容,再决定是否裁掉标记
对 decoder-only 模型,generate 返回的序列通常包含原始 prompt。要把回答与输入分开,应按输入长度切片,再解码新 token;否则你可能把 prompt 中的同名标记一起写入结果。
# decoder-only 模型的输入长度,用于去掉返回序列中的 prompt
prompt_token_count = inputs["input_ids"].shape[-1]
new_token_ids = outputs[:, prompt_token_count:]
# 只解码新增内容,避免把输入 prompt 混入展示文本
generated_text = tokenizer.batch_decode(
new_token_ids,
skip_special_tokens=True,
)[0]
stop_markers = ["", "
裁剪只应该发生在末尾。不要对整段文本做全局替换,否则回答正文中合法出现的同一字符串也会被删除。对于 encoder-decoder 模型,输入与输出序列的组织方式不同,不能机械套用 decoder-only 的输入长度切片;应按该模型的返回结构处理。
没有命中时用长度上限兜底
stop_strings 是提前结束条件,不是长度保证。模型可能一直没有生成目标标记,最终由 max_new_tokens 或其他生成边界结束,所以业务层应该把“命中停止字符串”和“达到长度上限”区分记录。
| 现象 | 优先检查 | 处理建议 |
|---|---|---|
| 没有提前停止 | 是否传入 tokenizer;停止标记是否真的出现在模型可能生成的文本中 | 保留长度上限,并记录未命中的结束原因 |
| 结果末尾带有标记 | 展示层是否需要协议标记 | 仅在字符串位于末尾时裁剪 |
| 多条样本长度不同 | 是否按 batch 独立解码和记录结束原因 | 逐样本处理,不用第一条样本的状态覆盖整个 batch |
| 输入里有同样的标记 | 是否错误地对完整 decoded 文本做全局查找 | 先切出新生成 token,再做末尾判断 |
几个容易踩到的边界
- 空字符串不要作为停止条件。它没有清晰的业务边界,应该在配置进入生成层前拦截。
- 标记要和模板约定一致。例如上游协议使用
,不要在一处写成带空格的变体,再期待两者语义相同。 - 不要把 stop_strings 当作内容过滤器。它只负责结束生成,不负责删除敏感词、纠正格式或保证回答完整。
- 批量结果要逐条归因。同一次 batch 中可以有的样本命中标记、有的样本达到长度上限,记录结构不要只保留一个全局布尔值。
常见问题
stop_strings 为什么必须传 tokenizer?
停止器需要根据 tokenizer 的词表判断字符串如何跨 token 完成匹配,因此官方接口要求把 tokenizer 传给生成调用。
停止标记会自动从返回文本里消失吗?
不要把“停止生成”和“裁剪返回文本”混为一谈。生成序列可能仍包含触发停止的内容,展示层要不要裁剪应由业务代码明确处理。
prompt 中已经有停止字符串会怎样?
停止条件关注生成序列末端的新内容,不应把 prompt 中已有的同名字符串当成这次生成的命中结果。解码时仍建议先切出新生成 token,避免业务逻辑误判。
可以同时使用多个 stop_strings 吗?
可以传字符串列表,任意一个停止字符串匹配时即可结束。建议把列表与模板协议一起版本化,并记录实际命中的标记。
小结
把 stop_strings 看成生成协议的一部分:配置层声明停止条件,generate 接收同一个 tokenizer,返回后先分离 prompt 与新 token,再决定是否裁剪末尾标记。最后保留 max_new_tokens 作为兜底,并把“命中标记”和“长度结束”分开记录,批量生成时每条样本独立处理。
-
284 收藏
-
387 收藏
-
328 收藏
-
426 收藏
-
147 收藏
-
403 收藏
-
230 收藏
-
231 收藏
-
294 收藏
-
144 收藏
-
230 收藏
-
308 收藏
-
160 收藏
-
386 收藏
-
419 收藏
-
141 收藏
-
164 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 485次学习