Transformers Trainer 怎样从 checkpoint 继续训练
来源:17golang原创
时间:2026-11-19 12:57:15 258浏览 收藏
Transformers 的 Trainer 继续训练,关键不是只把模型权重重新读进来,而是把一次完整的 checkpoint 交给 trainer.train(resume_from_checkpoint=...)。这样 Trainer 才有机会恢复模型、优化器、学习率调度器以及训练进度;如果检查点只有权重文件,就更适合推理或重新初始化训练。
官方地址:https://huggingface.co/docs/transformers/main_classes/trainer
最稳妥的做法是:训练时不要启用save_only_model=True,让output_dir生成完整的checkpoint-步数目录;中断后显式传入最近目录,而不是把“加载模型”和“接着训练”混为一件事。
先分清:加载模型不等于继续训练
Trainer.train 的 resume_from_checkpoint 参数有三种常见状态:不传值表示从当前 Trainer 初始化状态开始;传入字符串表示使用指定的本地检查点;传入 True 表示在 TrainingArguments.output_dir 中寻找最后一个检查点。
继续训练时,模型参数只是其中一部分。优化器里的动量、学习率调度器的当前位置和 Trainer 保存的全局步数,都会影响下一次更新。如果只用 AutoModel.from_pretrained(checkpoint_dir) 读权重,再调用普通的 train(),模型能启动,但它不是从原来的训练状态接上。

保存时要留下可恢复的状态
训练配置可以先把保存策略固定下来。下面的示例按更新步数保存,并限制旧检查点数量;save_only_model=False 保持默认的完整状态保存语义。
from transformers import TrainingArguments
# 让 output_dir 下按更新步数保留可恢复的训练状态
args = TrainingArguments(
output_dir="./runs/text-classifier",
save_strategy="steps",
save_steps=500,
save_total_limit=3,
save_only_model=False,
# 继续训练时默认跳过已经看过的数据,保持接续位置
ignore_data_skip=False,
)
当 save_only_model=True 时,文档明确说明只保存模型权重,不保存优化器、调度器和随机数状态,因此不能把它当作中断恢复包。这个选项适合只做推理交付的轻量产物,不适合需要接着优化的训练任务。
中断后显式指定 checkpoint 目录
假设保存目录下有 checkpoint-1500,并且它是在同一套训练参数下生成的完整检查点,可以这样恢复:
from transformers import Trainer
# trainer 的 model、数据集和 TrainingArguments 仍按原训练脚本构造
trainer = Trainer(
model=model,
args=args,
train_dataset=train_dataset,
eval_dataset=eval_dataset,
processing_class=tokenizer,
)
# 传入目录,恢复模型、优化器、调度器和 Trainer 的进度状态
checkpoint_dir = "./runs/text-classifier/checkpoint-1500"
train_output = trainer.train(resume_from_checkpoint=checkpoint_dir)
# 继续保存最终模型,便于后续用 from_pretrained 做推理
trainer.save_model("./runs/text-classifier/final")
这里的 checkpoint-1500 是恢复入口,不是一个普通的“预训练模型目录”。目录名里的数字只是人类可读的步数提示,真正的恢复依据仍是目录内保存的训练状态。

想接最近一次保存时,可以用 True
如果脚本只维护一个稳定的 output_dir,可以把参数写成 resume_from_checkpoint=True,让 Trainer 在该目录中寻找最后的检查点:
# 让 Trainer 在 args.output_dir 中选择最后一个 checkpoint trainer.train(resume_from_checkpoint=True)
自动选择方便,但排查问题时不如显式路径清楚。若目录里存在多个实验、复制不完整的目录,或者你想从较早的检查点做分支实验,直接传入字符串路径更安全。没有可用检查点时,布尔值方式会失败;这不是“从头训练”的隐式开关。
步数不连续时,优先检查这三件事
- 检查点是否只剩权重。如果训练时使用了
save_only_model=True,就不能期待优化器和调度器被恢复。 - 是否误用了普通加载流程。
from_pretrained只解决模型加载;接续训练要把目录交给train(resume_from_checkpoint=...)。 - 是否改变了数据跳过策略。
ignore_data_skip=False会尝试跳过已经处理的数据以接近中断前位置;设为True会更快开始,但数据顺序不再表示精确接续。
可以把恢复策略压缩成下面这张表:
| 目标 | 做法 | 结果 |
|---|---|---|
| 接着原训练 | train(resume_from_checkpoint=".../checkpoint-1500") | 读取完整训练状态 |
| 自动找最近一次 | train(resume_from_checkpoint=True) | 在 output_dir 中选择最后检查点 |
| 只做推理 | from_pretrained(model_dir) | 只加载模型,不接续优化器 |
常见问题
为什么传入 checkpoint 目录后 global_step 还是不对?
先确认传入的是完整检查点目录,而不是只导出的最终模型目录;再确认训练参数和数据加载方式没有把接续逻辑改成从头开始。
可以把多个 checkpoint 合并成一个吗?
不建议手动拼接。选择一个明确的完整检查点作为恢复源,保留其模型、优化器、调度器和 Trainer 状态,让 Trainer 自己完成加载。
总结
要让 Transformers Trainer 真正接着训练,保存阶段要保留完整状态,恢复阶段要调用 train(resume_from_checkpoint=路径)。显式路径适合可审计和分支实验,True 适合由单一 output_dir 管理的自动任务;而只保存模型权重的包,只能解决模型交付,不能代替训练恢复。
-
284 收藏
-
387 收藏
-
328 收藏
-
426 收藏
-
147 收藏
-
132 收藏
-
202 收藏
-
309 收藏
-
389 收藏
-
346 收藏
-
316 收藏
-
429 收藏
-
283 收藏
-
222 收藏
-
249 收藏
-
170 收藏
-
192 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 485次学习