Python多线程批量查IP归属地导出CSV

本文深入剖析了Python多线程批量查询IP归属地并导出CSV的实战要点，强调通过ThreadPoolExecutor合理控制10–20个并发线程避免系统过载与API封禁，优选ipapi.co或ipinfo.io等稳定API并严格设置超时、重试与错误兜底，采用流式csv.writer而非pandas一次性加载以节省内存、规避编码陷阱，同时系统化处理异常IP、网络抖动和日志追踪——真正决定效率的不是代码行数，而是并发节奏、API健壮性和数据落地的每一个细节。

用 concurrent.futures.ThreadPoolExecutor 控制并发数，别直接开几百个线程

Python 默认的 threading 没有内置并发数限制，一上来就 for ip in ips: Thread(...).start() 容易把系统拖慢、触发 API 限流甚至被封 IP。真实场景下，10–50 个线程足够压满大多数 HTTP 查询瓶颈，再往上吞吐不增反降。

实操建议：

• 用 ThreadPoolExecutor(max_workers=20) 稳住并发节奏，max_workers 建议从 10 试起，观察 CPU/网络占用和响应延迟
• 每个线程内必须加 try/except 包住请求逻辑，否则一个失败会中断整个线程池
• 避免在 submit() 里传入未序列化的对象（比如带 socket 或文件句柄的类实例），只传纯数据和函数
• 别用 map() 直接喂大列表——内存扛不住；改用 as_completed() 流式收结果

选对 API：优先用 ipapi.co 或 ipinfo.io，别硬啃 ip-api.com 免费版

ip-api.com 免费接口每分钟 45 次请求，超限返回 403 Forbidden，且不支持 HTTPS 批量头，实际跑批量时大概率卡死。而 ipapi.co 免费档允许 1000 次/天（需注册拿 token），返回字段全、结构稳定；ipinfo.io 则连 token 都不用，但每小时限 50000 次，IP 多了也得自己控速。

实操建议：

• 调用前拼 URL 要严格：比如 https://ipapi.co/{ip}/json/，别漏斜杠或大小写错成 /JSON/
• 务必加 timeout=(3, 7)（连接 3 秒，读取 7 秒），防止某个 IP 死等拖垮整批
• 对空响应或 429 Too Many Requests，要 sleep 随机秒数再重试，别固定等 1 秒
• 拿到 JSON 后先检查 response.get('country_name') 是否为 None，有些 IP（如内网、保留段）根本没归属地

导出 CSV 用 csv.writer 写行，别用 pandas.DataFrame.to_csv 加载全量内存

查 10 万 IP 的结果如果全塞进 DataFrame 再一次性 to_csv，内存轻松破 2GB，还容易因某列类型推断错导致编码异常（比如把 "CN" 当数字转成 NaN）。而流式写 CSV 只占几 MB 内存，且可控格式。

实操建议：

• 打开文件用 open(... , newline='') ，Windows 下漏 newline='' 会导致空行
• 用 writer.writerow([ip, data.get('country_name', ''), data.get('org', '')]) 显式控制字段顺序和空值填充
• 别在循环里反复 open(..., 'a') 追加——磁盘 IO 拖垮性能；一次性打开写入
• 中文字段导出前确认终端或 Excel 能识别 UTF-8 BOM，必要时开头写 \ufeff

处理异常 IP 和网络抖动：记录失败日志比抛错更重要

海量 IP 里总有私有地址（10.0.0.0/8）、保留地址（0.0.0.0、127.0.0.1）、超长响应或 DNS 解析失败，这些不是代码 bug，是数据常态。硬抛错会让整批中断，而静默跳过又没法回溯问题源头。

实操建议：

• 单独开个 failed.log 文件，每行记 f"{ip}\t{error_type}\t{str(e)}"，用 tab 分隔方便后续 awk 或 Excel 查看
• 对 socket.gaierror（DNS 失败）和 requests.exceptions.ConnectionError 区分对待：前者可跳过，后者可能需换代理或重试
• 最终 CSV 里失败的 IP 行不要留空字段，统一填 "N/A" 或 "INVALID"，避免下游解析误判为缺失值
• 跑完后用 grep -c "N/A" output.csv 快速估算失败率，超过 5% 就该查是不是并发太高或 API 凭证失效了

本篇关于《Python多线程批量查IP归属地导出CSV》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！