Python爬虫监控方法与状态查看教程

本篇文章主要是结合我之前面试的各种经历和实战开发中遇到的问题解决经验整理的，希望这篇《Python爬虫监控方案及状态查看教程》对你有很大帮助！欢迎收藏，分享给更多的需要的朋友学习~

Python爬虫必须闭环监控：用psutil实时查进程状态与资源、APScheduler+Redis定时上报心跳、RotatingFileHandler防日志爆盘、Flask提供健康接口，细节如时间戳对齐和降级逻辑需压测验证。

Python爬虫跑起来之后就黑盒了？不是等报错才发现挂了，就是日志里翻半天才看出卡在哪——这种监控不是“可有可无”，而是上线前必须闭环的事。

用 psutil 实时查进程存活与资源占用

靠 ps aux | grep spider.py 手动查太原始，且无法判断是否假死。用 psutil 可以在 Python 内部直接读取自身或子进程状态，还能捕获 CPU、内存、线程数异常。

• 安装：pip install psutil
• 检查主进程是否存活：psutil.pid_exists(os.getpid())
• 查当前爬虫子进程（如用了 scrapy crawl 或 subprocess.Popen）：psutil.Process(pid).status() 返回 'running' / 'sleeping' / 'zombie'
• 内存超阈值预警（比如 > 800MB）：psutil.Process().memory_info().rss > 800 * 1024 * 1024

用 APScheduler 定期上报心跳到 Redis

光本地查不够，得让外部系统（比如 Grafana、告警平台）能感知。最轻量的方案是爬虫自己定时往 Redis 写个带 TTL 的 key，外部轮询即可。

• 安装：pip install apscheduler redis
• 启动时注册一个每 30 秒执行一次的 job：BackgroundScheduler().add_job(heartbeat, 'interval', seconds=30)
• heartbeat() 函数只需做两件事：连接 Redis，执行 r.setex('spider:my_spider:alive', 60, int(time.time()))
• 注意：TTL 设为上报间隔的 2 倍（如 60 秒），避免网络抖动导致误判下线

日志中埋点 + logging.handlers.RotatingFileHandler 防爆盘

很多爬虫崩溃是因为日志狂打没限速，或者写满磁盘后 open() 失败直接退出。别只靠 print，要用结构化日志+滚动策略。

• 关键节点打日志：请求开始、解析成功、入库完成、重试第 N 次——都用 logger.info() 并带上 url、status_code、item_count 等字段
• 避免单文件无限增长：RotatingFileHandler(filename='spider.log', maxBytes=10*1024*1024, backupCount=5)
• 错误必须 logger.exception()，否则堆栈信息会丢
• 别把敏感字段（如 cookies、token）直接打到日志里，先脱敏再记录

用 Flask 搭个极简状态页（不暴露源码）

运维或产品临时想看一眼运行情况，总不能让人 SSH 登上去翻日志。起个只有 GET 接口的轻量服务，返回 JSON 即可，连模板都不用。

from flask import Flask, jsonify
import psutil
import redis
<p>app = Flask(<strong>name</strong>)
r = redis.Redis()</p><p>@app.route('/health')
def health():
return jsonify({
'pid': psutil.os.getpid(),
'status': 'running' if psutil.pid_exists(psutil.os.getpid()) else 'dead',
'mem_mb': psutil.Process().memory_info().rss // 1024 // 1024,
'last_heartbeat': r.get('spider:my_spider:alive'),
'uptime_seconds': int(time.time()) - psutil.Process().create_time()
})</p>

启动命令加个 --host=0.0.0.0 --port=8001 --threaded，然后用 nginx 反代并加基础鉴权（比如 HTTP Basic Auth），别直接暴露到公网。

真正难的不是搭这些组件，而是统一时间戳、对齐心跳周期、处理 Redis 连接中断时的降级逻辑——这些细节不压测一遍，上线后第一波流量就会暴露出来。

好了，本文到此结束，带大家了解了《Python爬虫监控方法与状态查看教程》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多文章知识！