本地大模型反复输出同一句话怎么调整生成参数

本地大模型一直重复同一句话，先别急着把 temperature 调到很高。最常见的起点是：确认没有误用贪心解码，打开采样；再从 temperature=0.7、top_p=0.9、repetition_penalty=1.05 左右做小步调整。如果仍然出现固定短语循环，再加 no_repeat_ngram_size=3，同时用 max_new_tokens 或停止字符串收住输出。

先判断是解码策略还是提示词在制造循环

把同一个提示词连续生成两次，并记录模型名、推理后端、输入长度和完整生成配置。若两次都几乎逐字相同，先看 do_sample 是否为 False，以及是否配置了 beam search；这说明候选选择太确定，不代表模型已经“学会”了那句话。若换一段更短的提示词就恢复正常，则要检查历史对话是否重复注入、模板是否把上一轮回答拼了两次。

还要区分“局部复读”和“整段复读”。局部复读通常由重复 token 或短 n-gram 触发；整段复读可能是停止条件没有生效，模型一直生成到长度上限。只改随机参数，解决不了被错误拼接的 prompt，也解决不了缺少结束 token 的模板问题。

先打开采样，再调整 temperature 和候选范围

在 Transformers 中，do_sample=False 对应贪心解码；设为 True 才会从概率分布采样。可以先保持变化很少，只打开采样并限制候选范围：

from transformers import GenerationConfig

# 先让输出有适度变化，避免一次改动太多而无法判断原因
generation_config = GenerationConfig(
    do_sample=True,
    temperature=0.7,
    top_p=0.9,
    top_k=40,
    max_new_tokens=256,
)

# generation_config 会覆盖模型默认的生成配置
outputs = model.generate(**inputs, generation_config=generation_config)

temperature 控制分布的平滑程度，数值越低越确定；top_p 保留累计概率达到阈值的最小候选集合，top_k 则只保留概率最高的若干 token。它们不是“去重开关”，只是改变下一 token 的候选分布。若模型回答已经发散，先把 temperature 降回 0.6～0.8 的窄范围，不要同时把 top_p 和 top_k 改得极端。

用 repetition_penalty 小步压低已出现内容

repetition_penalty=1.0 表示不施加重复惩罚。实际调参可以从 1.05、1.1、1.15 三个点做对照：如果只是某个词或短语反复出现，小幅提高通常比猛调温度更容易保留回答的主题。不同模型的 tokenizer、训练数据和任务格式差异很大，这些数值是工程起点，不是官方保证的通用答案。

generation_config = GenerationConfig(
    do_sample=True,
    temperature=0.7,
    top_p=0.9,
    repetition_penalty=1.1,
    max_new_tokens=256,
)

# 生成前确保输入和模型在同一设备，避免把参数问题误判成运行错误
inputs = {name: value.to(model.device) for name, value in inputs.items()}
outputs = model.generate(**inputs, generation_config=generation_config)

惩罚不是越大越好。太高时，模型可能刻意回避必要的 API 名、字段名或人名，中文长回答也可能变得断裂。若循环来自 prompt 中已经重复的历史消息，惩罚只能遮住症状，仍应先修正消息拼接。

固定短语还在循环时再加硬限制

no_repeat_ngram_size 大于 0 时，同长度 n-gram 只能出现一次。对“同一句话重复三遍”这类现象，可以尝试 3 或 4；但它会限制所有同长度片段，代码、JSON 键名、诗歌副歌和必须重复的格式字段都可能因此受损。把它当作局部兜底，不要替代对 prompt 和停止 token 的检查。

generation_config = GenerationConfig(
    do_sample=True,
    temperature=0.7,
    top_p=0.9,
    repetition_penalty=1.1,
    no_repeat_ngram_size=3,
    max_new_tokens=256,
    eos_token_id=tokenizer.eos_token_id,
)

# max_new_tokens 只限制本次新增 token，避免长 prompt 挤占判断空间
outputs = model.generate(**inputs, generation_config=generation_config)

长度参数也很关键。官方文档建议优先使用 max_new_tokens 控制新增 token；如果应用框架支持停止字符串，也可以在输出出现明确分隔符时结束。没有合理的结束条件时，模型即使不再重复，也可能继续生成无关内容。

用小矩阵回归找到当前模型的可用组合

不要只比较“看起来更自然”。选一组固定提示词，覆盖普通问答、长上下文、代码片段和必须保留术语的回答，每组记录重复片段长度、首次重复位置、有效回答长度和是否提前截断。先只改变一个变量，再保留最小改善组合。

每次改完都保留最终生成配置，而不是只记“温度调低了”。如果不同推理后端对参数名的支持不一致，先查该后端的映射说明；参数被静默忽略时，表面上像调参无效，实际是配置没有进入生成调用。

常见问题

temperature 调高就一定能解决复读吗？

不一定。它只改变概率分布的平滑程度；如果 prompt 重复、停止条件失效或解码参数没有真正传入，调高只会让输出更随机。

repetition_penalty 应该设置成多少？

没有跨模型通用值。可以从 1.05～1.15 做小步对照，并用含专业术语的样例检查是否出现“去重过度”。

no_repeat_ngram_size 越大越好吗？

不是。值越大，限制的片段越长；它可能挡住自然复述，也可能破坏 JSON、代码或固定格式，应该只在明确的短语循环上启用。

为什么改了参数却没有变化？

检查是否仍传入旧的 generation_config、后端是否支持该字段、以及是否实际调用了带新配置的生成函数。先打印本次请求的生效配置再比较。

处理本地大模型复读时，顺序比某个神奇数字更重要：先确认解码模式和输入边界，再打开适度采样，随后小步增加重复惩罚，最后用 n-gram 和停止条件兜底。用固定样例记录变化，才能找到既不循环、又不丢失任务约束的配置。