Python爬虫采集数据并上传FTP方法

本文深入剖析了Python爬虫结合FTP上传数据时高频失败的核心原因与实战解决方案，直击ftplib默认主动模式在现代网络环境下的兼容性陷阱，并系统讲解如何通过启用被动模式、原子化上传（临时文件+重命名）、精准异常捕获（区分error_perm/error_temp/连接类错误）、正确选用storbinary处理各类文件、分块传输大文件及校验文件完整性等关键手段，构建稳定、可验证、可回溯的自动化数据交付流程——不仅教你“怎么传”，更确保“传得稳、传得准、传得放心”。

为什么直接用 ftplib.FTP 上传文件容易失败

常见现象是连接后卡住、上传中断、或报 error_perm: 550 Permission denied。根本原因不是权限没开，而是 FTP 协议本身分主动（PORT）和被动（PASV）模式，而多数现代网络环境（如 NAT、防火墙、云服务器）只允许被动模式通信。但 ftplib 默认启用主动模式，且不自动 fallback —— 你得手动调用 ftp.set_pasv(True)，否则在绝大多数生产场景下都会连不上或传一半断掉。

实操建议：

• 初始化连接后立刻执行 ftp.set_pasv(True)，哪怕文档里写“默认 True”，实际在某些 Python 版本或 FTP 服务端行为下并非如此
• 使用 ftp.login(user, passwd) 前先确认用户名密码正确；部分 FTP 服务（如 Pure-FTPd）对空密码或匿名登录有额外限制，会静默拒绝
• 上传前用 ftp.pwd() 测试是否已登录成功，避免后续操作全报错却找不到源头
• 别依赖 ftp.connect(host, port) 的超时默认值（通常很长），显式加 timeout=10： ftp = FTP(timeout=10)

如何安全地把爬虫生成的 CSV 文件上传到 FTP 目录

核心难点不在“传”，而在“传得稳”：爬虫可能中途崩溃、文件未 flush、FTP 连接意外断开，导致目标服务器上出现空文件或截断文件。不能直接 ftp.storbinary('STOR data.csv', open('data.csv', 'rb')) 就完事。

实操建议：

• 上传前先用 ftp.cwd('/backup') 切到目标目录，确保路径存在；若不确定，用 ftp.mkd('backup') 创建（捕获 error_perm 忽略“已存在”错误）
• 上传用临时文件名，比如 data.csv.tmp，上传完成后再 ftp.rename('data.csv.tmp', 'data.csv') —— 这样能避免其他程序读到半成品
• 打开本地文件时务必用 with open('data.csv', 'rb') as f:，防止句柄泄漏；同时加 f.seek(0) 确保从头读取（尤其当你之前写过这个文件）
• 上传后调用 ftp.size('data.csv') 对比本地 os.path.getsize('data.csv')，不一致就重试或报警

爬虫 + FTP 自动化中必须处理的异常类型

真实运行时，ftplib 抛出的异常种类远比想象中多，而且很多不继承自 Exception，直接 except Exception: 会漏掉关键错误。

实操建议：

• 必须单独捕获 ftplib.error_perm（权限/路径错误）、ftplib.error_temp（临时错误，可重试）、socket.timeout 和 ConnectionRefusedError
• 对 error_temp 和超时类错误，建议最多重试 2 次，每次间隔 3 秒；用 time.sleep(3) 而非 ftp.quit() 后立即重连，避免触发服务端限流
• 上传过程中如果抛出 BrokenPipeError 或 ConnectionResetError，说明 FTP 连接已断，必须重新实例化 FTP() 对象并重登录，不能复用旧对象
• 所有异常处理分支里，最后都补一句 ftp.close()（如果 ftp 对象已创建），否则连接可能滞留，耗尽服务端并发数

为什么上传大文件时用 storbinary 而不用 storlines

看似只是“二进制 vs 文本”的区别，但实际影响极大：storlines 会在传输中自动将 \n 替换为 \r\n（FTP 协议要求），而 CSV、JSON、HTML 等文本格式本身已有换行符。一旦原始数据含 Windows 风格换行或嵌套换行（如 CSV 字段内含 \n），storlines 会污染内容，导致解析失败。

实操建议：

• 无论文件扩展名是什么，只要内容不是纯 ASCII 行协议（如 FTP 命令本身），一律用 storbinary
• 上传前检查文件编码：如果爬虫生成的是 UTF-8 带 BOM 的 CSV，storbinary 不会改编码，但下游系统可能因 BOM 解析异常 —— 此时应在保存本地文件时去掉 BOM：open('data.csv', 'w', encoding='utf-8-sig')
• 对超大文件（>100MB），别一次性读入内存；用 storbinary('STOR big.json', fp, blocksize=8192) 控制缓冲块大小，避免 OOM

真正难的不是写通流程，而是让每次上传都可验证、可回溯、可中断恢复。比如 FTP 目录里存个 upload.log 记录时间戳和文件 MD5，比任何 try/except 都管用。

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~