PyTorch大Batch梯度累积实现方法

梯度累积是一种在显存受限时模拟大batch训练效果的核心技巧，它并非简单调大DataLoader的batch_size，而是通过多次小batch前向传播与反向传播逐步累加梯度，并在指定步数后统一执行参数更新和梯度清零；关键在于每次loss需除以累积步数以保持梯度量级稳定，zero_grad()必须严格置于step()之后而非中间，且全程禁止误用torch.no_grad()干扰梯度计算——这些看似细微的操作一旦出错，就会导致梯度丢失、NaN损失或训练失效，而正确实现仅需几行逻辑判断，无需额外库支持，是PyTorch中高效利用硬件资源、提升模型收敛质量的必备实践。

梯度累积为什么不能直接改 batch_size

显存不够时，想用大 batch 训练但单次 forward/backward 会 OOM，很多人第一反应是调大 DataLoader 的 batch_size —— 这行不通。PyTorch 的 optimizer.step() 每调一次就清空梯度、更新参数；如果强行塞更大 batch，要么爆显存，要么梯度被覆盖，起不到“累积”效果。

真正要的是：分多次小 batch 做 backward，但只在第 N 次才 optimizer.step() 和 optimizer.zero_grad()。

• 每次 loss.backward() 默认会累加到 .grad 上（前提是没清过梯度）
• optimizer.zero_grad() 必须只在累积开始前或 step 后调用，中间不能清
• loss 要除以累积步数，否则梯度量级会随 step 数线性放大

torch.no_grad() 不参与梯度累积，别误用

写法上最容易错的是在累积循环里混进 torch.no_grad()，比如为了“省显存”对 validation 做 no_grad，结果顺手套到 train loop 里——这会让所有 backward() 失效，model.parameters()[0].grad 始终为 None。

梯度累积必须全程在梯度计算模式下进行：

• 确保 model.train() 已调用
• 不要包裹任何训练步骤在 with torch.no_grad(): 内
• 只有评估、推理、EMA 更新等非训练逻辑才用 no_grad

典型错误现象：RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn，基本就是某处意外禁用了梯度。

手动控制 optimizer.step() 和 zero_grad() 的时机

核心就三件事：累 loss、累梯度、按周期更新。不需要额外库或钩子，纯靠 if 判断步数即可。

假设目标等效 batch 是 64，当前 GPU 能跑 8：

accumulation_steps = 64 // 8  # = 8
for i, (x, y) in enumerate(dataloader):
    pred = model(x)
    loss = criterion(pred, y) / accumulation_steps  # 关键：缩放 loss
    loss.backward()  # 梯度自动累加
<pre class="brush:python;toolbar:false;">if (i + 1) % accumulation_steps == 0:
    optimizer.step()      # 更新参数
    optimizer.zero_grad() # 清空梯度，准备下一轮累积

• loss / accumulation_steps 必须做，否则梯度相当于放大了 8 倍
• zero_grad() 放在 step() 后，不是 before；否则刚算完就清了
• 注意 i + 1：因为 step 在 batch 结束后触发，不是开头
• 如果 dataloader 长度不能被整除，最后一组不足 accumulation_steps 的 batch 也要 step，否则漏更新

混合精度训练（torch.cuda.amp）下梯度累积要多一步

用 autocast + GradScaler 时，scaler.scale(loss).backward() 会把梯度乘上 scale 值再累加，所以 scaler.step(optimizer) 内部会自动处理 unscale，但前提是梯度确实被累积了。

容易漏的关键点：

• 必须用 scaler.unscale_(optimizer) 手动 unscale 梯度，再做梯度裁剪（如 torch.nn.utils.clip_grad_norm_），否则裁剪的是放大后的梯度
• scaler.step() 只应在累积完成时调用，且需传入 optimizer
• 别忘了 scaler.update()，否则 scale 值不会自适应调整

常见错误现象：NaN loss 或训练不稳定，大概率是没 unscale 就裁剪，或 scaler.update() 被跳过。

梯度累积本身不改变模型行为，但它把“更新频率”和“数据吞吐节奏”解耦了；实际调试时，最容易被忽略的是 loss 缩放和 zero_grad 位置——这两处一错，整个累积就失效，还很难一眼看出问题。

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~