登录
推荐 文章 Go 技术 课程 下载 专题 AI
首页 >  科技周边 >  人工智能

Transformers Trainer 怎样从 checkpoint 继续训练

来源:17golang原创

时间:2026-11-19 12:57:15 258浏览 收藏

Transformers 的 Trainer 继续训练,关键不是只把模型权重重新读进来,而是把一次完整的 checkpoint 交给 trainer.train(resume_from_checkpoint=...)。这样 Trainer 才有机会恢复模型、优化器、学习率调度器以及训练进度;如果检查点只有权重文件,就更适合推理或重新初始化训练。

官方地址:https://huggingface.co/docs/transformers/main_classes/trainer

最稳妥的做法是:训练时不要启用 save_only_model=True,让 output_dir 生成完整的 checkpoint-步数 目录;中断后显式传入最近目录,而不是把“加载模型”和“接着训练”混为一件事。

先分清:加载模型不等于继续训练

Trainer.train 的 resume_from_checkpoint 参数有三种常见状态:不传值表示从当前 Trainer 初始化状态开始;传入字符串表示使用指定的本地检查点;传入 True 表示在 TrainingArguments.output_dir 中寻找最后一个检查点。

继续训练时,模型参数只是其中一部分。优化器里的动量、学习率调度器的当前位置和 Trainer 保存的全局步数,都会影响下一次更新。如果只用 AutoModel.from_pretrained(checkpoint_dir) 读权重,再调用普通的 train(),模型能启动,但它不是从原来的训练状态接上。

Trainer 检查点中模型、优化器、调度器和训练进度的静态关系说明图
图1:结构说明图,展示完整 checkpoint 与继续训练入口之间的静态关系,不是运行截图。

保存时要留下可恢复的状态

训练配置可以先把保存策略固定下来。下面的示例按更新步数保存,并限制旧检查点数量;save_only_model=False 保持默认的完整状态保存语义。

from transformers import TrainingArguments

# 让 output_dir 下按更新步数保留可恢复的训练状态
args = TrainingArguments(
    output_dir="./runs/text-classifier",
    save_strategy="steps",
    save_steps=500,
    save_total_limit=3,
    save_only_model=False,
    # 继续训练时默认跳过已经看过的数据,保持接续位置
    ignore_data_skip=False,
)

当 save_only_model=True 时,文档明确说明只保存模型权重,不保存优化器、调度器和随机数状态,因此不能把它当作中断恢复包。这个选项适合只做推理交付的轻量产物,不适合需要接着优化的训练任务。

中断后显式指定 checkpoint 目录

假设保存目录下有 checkpoint-1500,并且它是在同一套训练参数下生成的完整检查点,可以这样恢复:

from transformers import Trainer

# trainer 的 model、数据集和 TrainingArguments 仍按原训练脚本构造
trainer = Trainer(
    model=model,
    args=args,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
    processing_class=tokenizer,
)

# 传入目录,恢复模型、优化器、调度器和 Trainer 的进度状态
checkpoint_dir = "./runs/text-classifier/checkpoint-1500"
train_output = trainer.train(resume_from_checkpoint=checkpoint_dir)

# 继续保存最终模型,便于后续用 from_pretrained 做推理
trainer.save_model("./runs/text-classifier/final")

这里的 checkpoint-1500 是恢复入口,不是一个普通的“预训练模型目录”。目录名里的数字只是人类可读的步数提示,真正的恢复依据仍是目录内保存的训练状态。

Trainer 显式路径恢复与最近检查点选择的静态决策关系图
图2:结构说明图,展示显式 checkpoint 路径、output_dir 最近检查点和数据跳过设置的关系,不是运行截图。

想接最近一次保存时,可以用 True

如果脚本只维护一个稳定的 output_dir,可以把参数写成 resume_from_checkpoint=True,让 Trainer 在该目录中寻找最后的检查点:

# 让 Trainer 在 args.output_dir 中选择最后一个 checkpoint
trainer.train(resume_from_checkpoint=True)

自动选择方便,但排查问题时不如显式路径清楚。若目录里存在多个实验、复制不完整的目录,或者你想从较早的检查点做分支实验,直接传入字符串路径更安全。没有可用检查点时,布尔值方式会失败;这不是“从头训练”的隐式开关。

步数不连续时,优先检查这三件事

  1. 检查点是否只剩权重。如果训练时使用了 save_only_model=True,就不能期待优化器和调度器被恢复。
  2. 是否误用了普通加载流程。from_pretrained 只解决模型加载;接续训练要把目录交给 train(resume_from_checkpoint=...)。
  3. 是否改变了数据跳过策略。ignore_data_skip=False 会尝试跳过已经处理的数据以接近中断前位置;设为 True 会更快开始,但数据顺序不再表示精确接续。

可以把恢复策略压缩成下面这张表:

目标做法结果
接着原训练train(resume_from_checkpoint=".../checkpoint-1500")读取完整训练状态
自动找最近一次train(resume_from_checkpoint=True)在 output_dir 中选择最后检查点
只做推理from_pretrained(model_dir)只加载模型,不接续优化器

常见问题

为什么传入 checkpoint 目录后 global_step 还是不对?

先确认传入的是完整检查点目录,而不是只导出的最终模型目录;再确认训练参数和数据加载方式没有把接续逻辑改成从头开始。

可以把多个 checkpoint 合并成一个吗?

不建议手动拼接。选择一个明确的完整检查点作为恢复源,保留其模型、优化器、调度器和 Trainer 状态,让 Trainer 自己完成加载。

总结

要让 Transformers Trainer 真正接着训练,保存阶段要保留完整状态,恢复阶段要调用 train(resume_from_checkpoint=路径)。显式路径适合可审计和分支实验,True 适合由单一 output_dir 管理的自动任务;而只保存模型权重的包,只能解决模型交付,不能代替训练恢复。

声明:本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>