Python multiprocessing spawn 下子进程重复导入怎么处理

在 Windows、macOS，或主动选择 spawn 时，子进程不是把父进程的 Python 状态整份复制过去，而是启动一个新的解释器，再导入主模块来找到目标函数。于是主模块顶层的打印、创建队列、读取配置甚至再次启动进程，都可能被执行一次。看到“子进程重复导入”“日志成倍出现”时，先修入口边界，不要急着给 spawn 加重试。

先用三个指标确认是重复导入，不是重复任务

排查时先记录主模块导入次数、实际子进程数和日志行数。可以在模块顶层只放一条不会创建资源的诊断日志，在 worker 内打印进程名；如果每个子进程都出现一次“模块已导入”，但任务结果数量没有翻倍，问题通常发生在 spawn 的导入阶段。

下面这段错误结构很常见：Process 在模块顶层创建，父进程启动子进程后，新的解释器又导入该模块，于是导入动作再次走到 p.start()。最终可能得到 RuntimeError，也可能看到进程树和日志不断增长。

把 Process 创建收进安全的主入口

修复的第一步是把副作用收进 main()，再由 __main__ 保护调用。worker 函数放在模块顶层，让新解释器可以通过模块名找到它；不要把局部函数、REPL 中临时定义的函数或依赖不可序列化闭包的对象直接交给子进程。

import logging
import multiprocessing as mp

def worker(task_queue, result_queue):
    # worker 必须位于模块顶层，spawn 才能重新导入并定位它
    for task in iter(task_queue.get, None):
        result_queue.put((task, task * task))

def main():
    # 显式选择上下文，避免依赖不同平台的默认值
    ctx = mp.get_context("spawn")
    tasks = ctx.Queue()
    results = ctx.Queue()
    child = ctx.Process(target=worker, args=(tasks, results), name="square-worker")
    child.start()
    for number in (2, 3, 4):
        tasks.put(number)
    tasks.put(None)  # 用哨兵告诉 worker 可以结束
    child.join()
    if child.exitcode != 0:
        raise RuntimeError(f"子进程异常退出：{child.exitcode}")
    print([results.get() for _ in range(3)])

if __name__ == "__main__":
    # 只有真正执行脚本时才创建进程，导入模块不会触发副作用
    logging.basicConfig(level=logging.INFO)
    main()

这里的重点不是把所有代码都塞进 main()，而是把“创建进程”这件事收口。常量和函数定义可以留在模块顶层；读取会产生副作用的配置、打开文件、创建连接池、创建 Queue 和启动 Process，都应明确属于主入口还是 worker 初始化。

让 Queue 和 Process 使用同一个 spawn context

如果程序同时使用 fork、spawn 或第三方库创建的同步对象，隐蔽问题往往变成“能启动但传参时报错”。用 ctx = mp.get_context("spawn") 后，从这个对象创建 Queue、Process、Lock 等资源，并把它们显式传给 worker。不要把 fork context 创建的锁传给 spawn 进程。

日志不要在导入阶段重复初始化

日志刷屏时，除了检查 handler 是否重复添加，还要看初始化位置。模块被 spawn 子进程导入是正常行为；如果导入代码就执行 basicConfig()、添加文件 handler 或打印“启动完成”，每个进程都会留下痕迹。更稳妥的做法是主进程在入口配置汇总日志，worker 在函数开始处只设置自己的进程名或使用队列把记录交给主进程。

改完后按三项指标复查：主模块顶层诊断日志可以按进程出现，但 Process 创建次数应等于预期；任务结果数量应与输入任务一致；主进程必须执行 join()，并在非零 exitcode 时让错误继续暴露。只有这三者都对上，才说明重复导入没有演变成重复执行。

常见问题：spawn、fork 和队列怎么选

为什么换成 fork 后日志看起来正常了？

fork 复制父进程状态，通常不会按 spawn 的方式重新导入主模块，所以症状可能暂时消失。但它继承线程、文件描述符和运行时状态，在多线程程序中并不总是安全；不要把“日志少了”当成修复证明。

加上 __main__ 保护后还需要 freeze_support() 吗？

普通解释器运行时通常不需要。若程序要打包成可执行文件，按 Python 文档在主入口调用 freeze_support()，它主要服务冻结程序的启动兼容。

ProcessPoolExecutor 也会遇到同样问题吗？

会。它的底层同样创建进程池，入口保护、可导入的任务函数和可序列化参数仍然是必要条件。先把主模块做成可安全导入，再考虑更换 API。

一句话收尾：spawn 的正确修复不是阻止子进程导入主模块，而是让主模块“可被导入”，把创建进程、初始化资源和启动日志放在明确的运行入口里。