PyTorchDDP多进程训练在Kaggle的正确启动方式

小伙伴们对文章编程感兴趣吗？是否正在学习相关知识点？如果是，那么本文《PyTorch DDP多进程训练在Kaggle正确启动方法》，就很适合你，本篇文章讲解的知识点主要包括。在之后的文章中也会多多分享相关知识点，希望对大家的知识积累有所帮助！

在 Kaggle 等基于 Jupyter 的环境中直接运行 PyTorch DDP（DistributedDataParallel）多进程代码会因 `__main__` 模块序列化失败而报错；根本解决方案是将 DDP 主逻辑写入独立 `.py` 文件，并通过命令行方式执行，避开 notebook 的模块上下文限制。

PyTorch 的 torch.multiprocessing.spawn 要求被启动的函数（如 main）必须可被子进程通过 pickle 反序列化——这在标准 Python 脚本中自然成立，因为 if __name__ == "__main__": 块内定义的函数属于顶层模块 __main__。但在 Kaggle 或 Jupyter Notebook 中，整个 cell 代码实际运行在 这一动态、不可序列化的内置模块中，导致子进程无法定位 main 函数，从而抛出：

AttributeError: Can't get attribute 'main' on <module '__main__' (built-in)>

✅ 正确做法：分离定义与执行
将 DDP 训练逻辑封装为标准 .py 文件，而非在 notebook cell 中直接调用 mp.spawn()。

✅ 实施步骤（Kaggle 环境）

1. 使用 %%writefile 魔法命令创建独立脚本
   在 notebook 新建 cell，粘贴并保存完整 DDP 代码（参考 PyTorch 官方示例），顶部添加 %%writefile ddp.py：

%%writefile ddp.py
import torch
import torch.nn as nn
import torch.optim as optim
import torch.distributed as dist
from torch.nn.parallel import DistributedDataParallel as DDP
from torch.utils.data import DataLoader, DistributedSampler
import torch.multiprocessing as mp
from torchvision import datasets, transforms
import os

def main(rank, world_size, epochs=5, batch_size=32, lr=1e-3):
    # 初始化进程组
    dist.init_process_group(
        backend="nccl",
        init_method="env://",
        world_size=world_size,
        rank=rank
    )

    # 设置设备
    torch.cuda.set_device(rank)
    device = torch.device(f"cuda:{rank}")

    # 构建模型、数据集、优化器等（此处省略细节）
    model = nn.Sequential(nn.Linear(784, 128), nn.ReLU(), nn.Linear(128, 10)).to(device)
    model = DDP(model, device_ids=[rank])

    train_dataset = datasets.MNIST("./data", train=True, download=True,
                                    transform=transforms.ToTensor())
    sampler = DistributedSampler(train_dataset, num_replicas=world_size, rank=rank)
    train_loader = DataLoader(train_dataset, batch_size=batch_size, sampler=sampler)

    optimizer = optim.Adam(model.parameters(), lr=lr)

    for epoch in range(epochs):
        model.train()
        sampler.set_epoch(epoch)  # 关键：确保每个 epoch 数据打乱一致
        for data, target in train_loader:
            data, target = data.to(device), target.to(device)
            optimizer.zero_grad()
            output = model(data.view(data.size(0), -1))
            loss = nn.functional.cross_entropy(output, target)
            loss.backward()
            optimizer.step()

    dist.destroy_process_group()

if __name__ == "__main__":
    import argparse
    parser = argparse.ArgumentParser()
    parser.add_argument("--world_size", type=int, default=torch.cuda.device_count())
    args = parser.parse_args()

    # 注意：Kaggle 中需显式设置环境变量（spawn 自动读取）
    os.environ["MASTER_ADDR"] = "127.0.0.1"
    os.environ["MASTER_PORT"] = "29500"

    mp.spawn(main, args=(args.world_size, 5, 32, 1e-3), nprocs=args.world_size, join=True)

2. 在另一个 cell 中执行脚本
   使用系统命令运行，绕过 notebook 解释器上下文：

!python -W ignore ddp.py

⚠️ 注意事项：

• 务必设置 MASTER_ADDR 和 MASTER_PORT：spawn 依赖这些环境变量初始化 NCCL 后端，Kaggle 默认未设置。
• 避免在 notebook 中直接调用 mp.spawn()：即使加了 if __name__ == "__main__":，notebook 的 __main__ 仍不可序列化。
• -W ignore 是可选的：用于抑制 PyTorch 分布式警告（如 UserWarning: ... is deprecated），提升日志可读性。
• 单节点多卡适用：本方案专为 Kaggle 提供的 2×T4 场景设计；跨节点需额外配置 MASTER_ADDR 和网络互通。

该方法严格遵循 Python 多进程的“spawn”启动方式语义，确保每个子进程从干净的 .py 文件入口重新导入模块，彻底规避 AttributeError。这是在受限 notebook 环境中安全启用 PyTorch DDP 的工业级实践。

理论要掌握，实操不能落！以上关于《PyTorchDDP多进程训练在Kaggle的正确启动方式》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！