Python multiprocessing spawn 模式为什么需要 main 保护

用 multiprocessing 选择 spawn 后，子进程不是把父进程内存原样复制过去，而是启动一个全新的 Python 解释器，再导入入口模块。入口文件里的顶层代码如果直接创建 Process 或 Pool，子进程导入时就会再次创建子进程，最终触发递归启动或 RuntimeError。

spawn 先导入入口模块，再执行目标函数

父进程调用 start() 后，spawn 子进程会获得启动参数并重新初始化解释器。它需要导入主模块，找到目标函数和参数，然后才进入 run()。因此“模块被导入”与“脚本作为入口运行”必须分开。

下面这段写法的问题不在 Process 本身，而在它位于模块顶层：

from multiprocessing import Process

def worker():
    # worker 保持为模块级函数，便于子进程重新定位
    print("worker running")

p = Process(target=worker)
p.start()  # 顶层副作用会在 spawn 导入时再次发生
p.join()

当子进程导入这个文件时，最后三行又会执行。修复的第一步是让入口模块“可导入但不自动启动”。

把进程创建收进 main 保护

最小可用结构如下。函数、常量和轻量导入留在模块级；创建进程、创建池、选择启动方式以及读取命令行参数等副作用收进保护块。

import multiprocessing as mp

def worker(value):
    # 只接收可序列化参数，并返回可传回父进程的结果
    return value * value

def main():
    # 在真正的入口里创建进程池，避免子进程导入时重复创建
    ctx = mp.get_context("spawn")
    with ctx.Pool(2) as pool:
        results = pool.map(worker, [2, 3, 4])
    print(results)

if __name__ == "__main__":
    # 只有直接运行本文件时才进入启动流程
    main()

这里的判断在主进程直接执行脚本时成立；子进程导入主模块时，模块名不是 __main__，因此只加载 worker 和 main 的定义，不会再次进入池创建逻辑。正常解释器运行时不需要额外添加 freeze_support()；只有面向冻结可执行文件时，才按打包工具要求把它放在保护块中。

让 worker、参数和结果通道可重建

加上 main 保护只能解决递归启动。spawn 还要把目标和参数交给新解释器，因此 worker 不要写成 main 内的局部函数，也不要依赖父进程启动后才改变的全局变量。列表、字典、字符串和数字通常容易传递；打开的文件句柄、锁的跨上下文混用或自定义不可序列化对象则要单独处理。

from multiprocessing import get_context

def worker(item, factor):
    # 参数显式传入，避免依赖父进程里后来变化的全局状态
    return {"item": item, "value": item * factor}

def main():
    # 使用上下文对象，避免修改其他库已经选择的全局启动方式
    ctx = get_context("spawn")
    with ctx.Pool(2) as pool:
        jobs = [(1, 10), (2, 10)]
        results = pool.starmap(worker, jobs)
    print(results)

if __name__ == "__main__":
    main()

如果错误变成“找不到目标函数”，优先检查函数是否在可导入模块的顶层；如果错误出现在参数传递阶段，检查参数是否可 pickle。结果收集完成后使用上下文管理器关闭池，避免把资源回收问题误判成 main 保护失效。

把启动方式和失败检查写成门禁

工程代码里不要在多个模块随意调用 set_start_method()，它只能设置一次。库代码通常更适合接收调用方提供的上下文，或者在自己的局部流程使用 get_context('spawn')。这样不会把应用其他部分强行改成同一种启动方式。

提交前可以按下面顺序做一次小检查：

1. 直接运行入口文件，确认只创建预期数量的 worker。
2. 把启动方式明确设为 spawn，确认没有递归启动异常。
3. 把 worker 改成顶层函数，并逐项检查参数是否可 pickle。
4. 确认 Pool、Queue 或 Process 在任务完成后正常退出，失败时能看到子进程退出状态。

官方文档也提醒，使用 spawn 或 forkserver 时要保证主模块能被安全导入；这正是 main 保护存在的原因。可从 Python multiprocessing 文档和 __main__ 文档继续核对入口语义。

常见问题

只在 Windows 或 macOS 报错，Linux 没问题，能不加 main 保护吗？

不能把某个平台的偶然表现当成契约。显式使用 spawn 时，所有平台都应遵守安全导入规则；开发机若使用了 fork，可能暂时掩盖顶层启动副作用。

把 main 保护写在函数外面还有效吗？

有效的关键是进程创建语句位于 if __name__ == "__main__": 分支内，而不是保护块的缩进形式。通常再包一层 main()，更容易测试和复用。

用了 Pool 仍提示目标函数不存在怎么办？

先看目标函数是否定义在交互式环境或 main() 局部。将它移到可导入模块的顶层，并检查传入的函数参数是否能被 pickle。