Diffusers CPU卸载与直接放入GPU有什么区别

Diffusers 里的“CPU卸载”和“直接放入GPU”不是同一种加速策略。直接放入GPU会让管线组件长期驻留在CUDA显存里，减少CPU与GPU之间的数据搬运；CPU卸载则把模型权重主要放在CPU内存中，需要某个组件计算时再交给GPU。前者通常更快，后者通常更省显存。

官方地址：https://huggingface.co/docs/diffusers/main/en/api/pipelines/overview

先区分常驻显存和按模型边界卸载

一个典型的DiffusionPipeline包含文本编码器、UNet或Transformer、VAE、调度器等组件。直接放入GPU时，主要模型组件和中间激活都围绕CUDA显存工作；CPU卸载时，Accelerate会为组件挂接卸载逻辑，权重的存放位置与实际计算位置分离。

直接放入GPU：把常驻显存换成更少的数据搬运

直接放置的核心是加载后调用 to("cuda")。只要模型、输入和中间张量的显存预算能覆盖峰值，重复调用时就少了一层CPU到GPU的权重搬运。对连续出图、较大批量或更看重单次延迟的任务，这通常更合适。

import torch
from diffusers import DiffusionPipeline

# 直接让主要管线组件驻留CUDA，换取较少的设备搬运
pipe = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16,
)
pipe = pipe.to("cuda")

# 输入也放到同一加速设备的计算路径上，避免设备不一致
image = pipe("一座雾中的玻璃温室").images[0]
image.save("result.png")  # 保存输出，不把示例误当成性能测试

这里的代价很直接：文本编码器、UNet或Transformer、VAE等组件共同竞争显存，分辨率、批量、精度和额外控制模块都会抬高峰值。出现CUDA out of memory时，不要只盯着模型文件大小，还要把中间激活和解码阶段算进去。

CPU卸载：组件常驻内存，按模型边界搬到CUDA

enable_model_cpu_offload()把模型组件保存在CPU侧，需要某个模型执行时再将整个模型移到加速器；当前模型执行完后，其他组件可以释放GPU空间。它比直接放入GPU省显存，但每个组件跨设备搬运都会付出时间和带宽成本。

import torch
from diffusers import DiffusionPipeline

# 先把权重留在CPU侧，由Accelerate在模型边界处理上下卡
pipe = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16,
)
pipe.enable_model_cpu_offload(device="cuda")  # 需要已安装accelerate

# 适合显存较紧张的单卡推理；速度要用同一提示词和分辨率实测
image = pipe("一座雾中的玻璃温室").images[0]
image.save("result-offload.png")  # 这里只保存结果，不比较未经控制的耗时

如果仍然不够省显存，可以尝试 enable_sequential_cpu_offload()。它把卸载粒度进一步细化到子模块，显存压力更小，但设备同步与搬运次数更多，速度下降也更明显。它更像“让大模型先跑起来”的保底方案，而不是默认性能方案。

按瓶颈选择卸载级别

选择时先看任务是否反复调用同一管线。若GPU显存能稳定容纳模型和激活，直接放置最简单；若加载阶段或推理峰值超出显存，先用model级CPU卸载；只有仍然无法运行时，才考虑sequential级卸载。精度改成 float16 或 bfloat16 也会改变预算，但不能用精度变化掩盖设备放置策略的差异。

还要注意 device_map。官方文档说明，使用过设备映射后，如果要改用 .to()、enable_model_cpu_offload() 或 enable_sequential_cpu_offload()，应先调用 reset_device_map()，否则两套放置逻辑可能互相冲突。

最小验证：看设备、显存峰值和结果是否可比

验证不要只看一次能否出图。固定模型、提示词、分辨率、步数和随机种子，分别记录加载后显存峰值与单次耗时；同时检查主要组件所在设备。卸载模式的目标是降低显存，不承诺与全GPU模式拥有相同速度。

# 用组件设备和CUDA峰值确认放置策略，避免只凭体感判断
print(pipe.device)
if torch.cuda.is_available():
    print(f"峰值显存：{torch.cuda.max_memory_allocated() / 1024**3:.2f} GiB")
    torch.cuda.reset_peak_memory_stats()  # 下一轮测试前清零统计窗口

常见问题

CPU卸载一定比直接放入GPU慢吗？

在相同模型和输入下通常会慢一些，因为增加了权重搬运；具体差距取决于组件大小、PCIe带宽、批量和调用频率。

显存够用时还需要CPU卸载吗？

一般不需要。若任务是低并发、偶发推理或需要与其他模型共享显存，卸载仍可能有价值。

model级卸载和sequential级卸载怎么选？

优先选model级；它在显存节省和速度之间更均衡。只有模型级仍无法完成加载或推理时，再尝试sequential级。