Transformers generate 怎样限制重复 n-gram
来源:17golang原创
时间:2026-11-19 13:00:27 202浏览 收藏
在 Transformers 的 generate() 里限制重复 n-gram,核心参数是 no_repeat_ngram_size。把它设为大于 0 的整数后,生成器会禁止已经出现过的同长度 token 片段再次出现;例如设为 3,就不允许同一组三元 token 片段重复。它解决的是局部片段循环,不等于语义去重,也不会自动理解“换一种说法”。
官方地址:https://huggingface.co/docs/transformers/main_classes/text_generation
我在给摘要和问答模型加解码约束时,最容易踩的坑不是参数名写错,而是把 n 当成“中文词的个数”。实际判断发生在 tokenizer 产生的 token 序列上。因此,比较稳妥的做法是先理解约束对象,再根据文本类型选择 n,最后观察术语和短文本是否被误伤。
先弄清它限制的到底是什么
n-gram 是连续的 n 个 token 组成的片段。no_repeat_ngram_size=2 检查二元片段,3 检查三元片段,依此类推。生成每个新 token 时,约束处理器会查看当前序列:如果这个候选 token 会让某个 n-gram 第二次出现,它就会被排除。

这里有三个边界需要记住:
- 它约束的是 token 片段。同一个中文词可能被切成一个或多个 token,所以 n=3 不一定对应“三个汉字”或“三个词”。
- 它是局部重复约束。模型仍可能换一个相近表达重复同一个意思,语义层面的冗余需要改提示词、重排结果或额外的语义评估。
- 它会影响候选分布。被排除的候选不再参与当前步选择,约束越强,生成自由度越低。
在 generate 中加入硬约束
最小配置就是把 no_repeat_ngram_size 传给 generate()。下面的示例故意把模型名留成占位符,替换为你已经准备好的因果语言模型即可。
from transformers import AutoModelForCausalLM, AutoTokenizer
# 使用自己的模型仓库或本地目录,避免把示例模型当成固定依赖
model_id = "your-org/your-causal-model"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)
prompt = "请用三句话说明缓存击穿与缓存雪崩的区别。"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(
**inputs,
max_new_tokens=96, # 限制本次最多新增的 token 数
no_repeat_ngram_size=3, # 禁止已经出现过的三元 token 片段再次出现
do_sample=False, # 先用确定性解码观察约束效果
pad_token_id=tokenizer.eos_token_id, # 某些因果模型没有单独的 pad token
)
text = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(text) # 这里只展示解码结果,不把它当作质量验证结论
这个参数是“硬约束”:它不是把重复片段的概率降低一点,而是在候选生成时直接禁止会造成重复 n-gram 的 token。也因此,参数生效后不应再把“输出仍然有相同意思”误判为配置失效;需要先区分表面片段重复和语义重复。
如果服务使用采样,只需保留这个参数并切换采样配置,约束仍然是同一层的解码约束:
outputs = model.generate(
**inputs,
max_new_tokens=128, # 让采样有足够空间,但避免无限延长
no_repeat_ngram_size=3, # 继续禁止重复三元 token 片段
do_sample=True,
temperature=0.7, # 只调整候选随机性,不替代 n-gram 约束
top_p=0.9, # 从累计概率较高的候选集合中采样
pad_token_id=tokenizer.eos_token_id,
)
按文本类型选择 n 的大小
没有一个对所有模型和任务都合适的固定值。可以先把 n 当成三档选择,再根据实际输出调整:
| 取值思路 | 适合观察的场景 | 主要代价 |
|---|---|---|
2 | 重复短语特别明显、输出很容易原地循环 | 约束强,常见短语和固定搭配更容易被限制 |
3 | 摘要、说明文、问答等需要抑制局部循环的文本 | 仍可能限制少量高频术语,需要看领域词密度 |
4 或更大 | 只有较长片段重复才需要干预的长文本 | 对短循环不敏感,但更容易让人误以为参数没有效果 |

这张表的“适合”只是调参起点,不是质量承诺。更实际的判断方式是拿一组固定提示词,分别记录三件事:重复片段是否消失、关键术语是否被破坏、答案是否因为过度绕路而变长。若技术文档中有大量 API 名称、字段名或固定格式,通常应该优先避免过强的二元约束。
不要把它和 repetition_penalty 混为一谈
no_repeat_ngram_size 与 repetition_penalty 都能缓解重复,但作用方式不同:
no_repeat_ngram_size针对固定长度片段做硬限制,命中条件后候选会被排除。repetition_penalty是对重复 token 的分数施加惩罚,仍然保留一定生成可能。
如果问题是“模型连续复读一小段话”,先尝试 n-gram 约束更容易定位;如果问题是词汇使用过于单一,单独使用硬约束可能太生硬,可以把惩罚参数作为较柔和的对照方案。两者叠加时,先固定一个参数再调整另一个,否则很难判断究竟是哪一层改变了输出。
短文本和术语密集文本要特别小心
硬约束不是越强越好。短回答的有效 token 本来就少,no_repeat_ngram_size=2 可能把自然的连接词、格式词或标题模板过早排除;技术文档则可能反复出现同一个类名、字段名或命令参数,这种重复未必是坏事。
可以采用更保守的配置边界:
def generation_kwargs(task_type: str) -> dict:
# 让不同任务使用不同约束,避免把摘要参数直接套到代码解释上
if task_type == "short_answer":
return {"max_new_tokens": 64, "no_repeat_ngram_size": 3}
if task_type == "technical_explanation":
return {"max_new_tokens": 160, "no_repeat_ngram_size": 4}
# 未登记的任务先不启用硬约束,交给固定样本观察后再收紧
return {"max_new_tokens": 96}
如果你发现输出出现不自然的绕句、术语缺失或句子突然中断,优先把 n 调大、暂时移除硬约束,或改用较柔和的重复惩罚;不要只增加 max_new_tokens,那通常不能解决约束过强的问题。
encoder-decoder 模型不要配错参数
普通的 no_repeat_ngram_size 关注生成序列本身。对 encoder-decoder 模型,Transformers 还提供 encoder_no_repeat_ngram_size,它表达的是另一种边界:编码器输入中出现的 n-gram 不应出现在 decoder 输出中。两者不是同一个开关,不能因为任务使用了 T5、BART 一类结构就直接互换。
如果只是想避免摘要结果在自身内部重复,先使用 no_repeat_ngram_size;只有确实需要限制“输入片段不能被复制到输出”时,才单独评估 encoder 侧参数,并确认模型类型和生成策略符合该用法。
上线前把调参变成一张小清单
- 确认 tokenizer 的 token 粒度,不把 n 直接解释成汉字数或词数。
- 用固定提示词保存一组基线输出,先看真实重复片段的长度。
- 从较温和的 n 开始,记录重复、术语缺失和回答完整度三个结果。
- 需要确定性排查时先关闭采样;需要保持多样性时再恢复
do_sample。 - 把短回答、技术解释和长文本分成不同配置,不要用一套全局值覆盖所有任务。
- 发现硬约束误伤时保留回退配置,优先回到上一个可读输出,再决定是否换成
repetition_penalty。
简单说,no_repeat_ngram_size 适合解决“同一段 token 片段反复出现”的局部问题。多数说明文可以从 3 附近开始观察,短文本和术语密集文本则要给固定搭配留出空间。把它当成解码层的边界控制,而不是语义质量开关,调参结果会更容易解释。
常见追问
设置为 0 会怎样?
通常表示不启用这项 n-gram 重复限制;最终还要结合模型配置和其他 logits 处理器理解输出行为。
为什么设置了参数仍然有重复意思?
因为它限制的是相同 token 片段,不负责判断同义改写、主题重复或段落结构重复。
n 越大是不是越严格?
不一定。n 越大,精确命中同一片段的条件越苛刻,实际约束反而可能变松;应结合重复片段长度和 tokenizer 粒度判断。
-
284 收藏
-
387 收藏
-
328 收藏
-
426 收藏
-
147 收藏
-
132 收藏
-
309 收藏
-
258 收藏
-
389 收藏
-
346 收藏
-
316 收藏
-
429 收藏
-
283 收藏
-
222 收藏
-
249 收藏
-
170 收藏
-
192 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 485次学习