大文件上传难题，Flask流式响应解决内存溢出

Flask中实现真正高效的大文件流式上传与下载远不止简单使用yield，其背后涉及Python生成器、WSGI服务器（如gunicorn/uWSGI）、反向代理（如Nginx）及浏览器多层缓存机制的协同调优：默认配置下，Flask会将整个生成器内容缓冲至内存导致OOM，开发服务器对流支持薄弱，而Nginx默认开启的proxy_buffering更会彻底阻断流式响应；唯有正确返回原生生成器、启用direct_passthrough、禁用Content-Length与gzip、关闭Nginx缓冲、严格校验文件路径并妥善处理异常，才能让大文件“边读边发”，实现实时、低内存、高可靠传输——本地跑通只是起点，线上稳定需全链路穿透式优化。

Flask 里用 yield 返回大文件为什么会卡住或内存不降？

因为默认 Flask 响应会把整个生成器内容攒在内存里转成字符串再发出去，哪怕你写了 yield，底层 WSGI 服务器（比如 Werkzeug 开发服务器）也可能缓冲整块响应。结果就是：文件没传完，内存先爆了，浏览器也一直转圈。

• 确保视图函数返回的是生成器对象，不是调用后的列表（别写 return list(generator)）
• 必须设置 Response 的 direct_passthrough=True，否则 Flask 会试图读取全部内容做编码检测
• 加上 Content-Length 头会让部分客户端提前知道大小，但大文件往往没法预知长度，此时宁可不设，也不要瞎填
• 开发时用 flask run 启动的服务器对流支持很弱，上线前务必换 gunicorn 或 uWSGI，并确认启用了 --preload 和流式中间件

怎么写一个真正流式返回大文件的 Flask 路由？

核心是绕过 Flask 默认响应封装，手动构造 Response，并让生成器按 chunk 拉取、即时写出。不能依赖 send_file 或 send_from_directory —— 它们内部会 open().read() 整个文件。

• 用 with open(path, "rb") as f: 打开文件，每次 yield f.read(8192)（8KB 是较稳妥的 chunk 大小）
• 返回 Response(generator, mimetype="application/octet-stream")，不要加 content_length
• 务必设 headers={"Content-Disposition": 'attachment; filename="bigfile.zip"'}，否则浏览器可能尝试渲染二进制内容
• 如果路径来自用户输入，必须用 os.path.realpath + os.path.commonpath 校验是否越界，防止目录遍历

def stream_file():
    path = "/var/data/large-backup.tar.gz"
    def generator():
        with open(path, "rb") as f:
            while True:
                chunk = f.read(8192)
                if not chunk:
                    break
                yield chunk
    return Response(generator(), mimetype="application/octet-stream",
                     headers={"Content-Disposition": 'attachment; filename="backup.tar.gz"'})

为什么 Nginx 会吃掉你的流式响应？

Nginx 默认开启 proxy_buffering on，它会等后端整个响应结束才往客户端推，彻底废掉你的 yield。这不是 Flask 的锅，是反向代理拦住了流。

• 在 location 块里加 proxy_buffering off;，同时配 proxy_cache off;
• 必须设 proxy_http_version 1.1; 和 proxy_set_header Connection '';，否则 HTTP/1.0 连接会被强制关闭
• 如果用了 gzip on，Nginx 会等完整响应才能压缩，直接关掉：gzip off;（压缩应由应用层或 CDN 完成）
• 测试时 curl 加 -N 参数禁用缓冲，看是否真有数据分批出来：curl -N http://localhost/download

生成器抛异常时响应中断怎么办？

生成器中途出错（比如文件被删、权限变掉），Flask 不会自动返回 500，而是断连或返回空响应，前端卡死无提示。

• 在生成器内部包 try/except，捕获 IOError、OSError 等，并 yield 一段错误信息字节（如 b"ERROR: file missing"），再 raise
• 更稳的做法是先校验文件存在且可读：if not os.path.isfile(path) or not os.access(path, os.R_OK): abort(404)
• 别在生成器里做耗时操作（如数据库查询、网络请求），每个 yield 都该是纯 IO 读取，否则延迟会累积
• 超时控制靠 WSGI 服务器（如 gunicorn 的 --timeout）和 Nginx 的 proxy_read_timeout，前后端要对齐

以上就是《大文件上传难题，Flask流式响应解决内存溢出》的详细内容，更多关于的资料请关注golang学习网公众号！