Celery与定时任务结合的Python爬虫教程

本文深入讲解了如何利用 Celery 构建健壮、可扩展的 Python 爬虫调度系统，强调其相比 APScheduler 在分布式抓取、任务优先级、自动重试（含指数退避）、可视化监控及与 Web 框架集成等方面的显著优势；通过清晰拆解 Broker（如 Redis）、Celery 实例和 Worker 三大核心组件，结合任务原子化设计、带绑定重试机制的爬虫函数、Beat 定时调度配置以及实战中易被忽视的关键细节（如连接复用、频率控制、日志统一和敏感参数管理），手把手教你把爬虫从“脚本”升级为“可运维的服务”，真正实现稳定、可控、长期运行的自动化数据采集。

用 Celery 实现 Python 爬虫调度，核心是把爬虫任务变成可异步执行、可定时触发、可重试、可监控的“标准作业”。关键不在写多少代码，而在理清任务拆分、触发时机、失败处理和资源隔离这几个环节。

一、为什么不用 APScheduler 而选 Celery？

APScheduler 适合单机轻量定时（比如每5分钟拉一次天气），但爬虫场景常需：

• 多 worker 分布式抓取（避免单点崩溃或 IP 被封）
• 任务排队与优先级控制（如首页 > 列表页 > 详情页）
• 失败自动重试 + 指数退避（网络抖动、反爬响应时稳住节奏）
• 与 Django/Flask 集成后，能从后台页面手动触发或查看任务状态

Celery 天然支持这些，尤其配合 Redis 或 RabbitMQ 做 broker，稳定性远超内存型调度器。

二、基础结构：三组件必须配齐

一个可用的 Celery 爬虫调度系统，至少包含：

• Broker（消息中间件）：推荐 Redis（简单）、RabbitMQ（高可靠）。负责暂存待执行任务。安装：pip install redis，启动：redis-server
• Celery 实例：定义任务、配置序列化、设置重试策略。不要写在爬虫脚本里，单独建 celery_app.py
• Worker 进程：真正运行爬虫逻辑的后台服务，启动命令：celery -A celery_app.celery worker --loglevel=info

三、爬虫任务怎么写才“可调度”？

别把整个 Scrapy 项目塞进 task 函数。应按职责拆解：

• 入口任务（@app.task）：只做参数组装和触发，例如：fetch_category.delay(category_id=123, retry_count=0)
• 原子任务：单次 HTTP 请求 + 解析 + 存库，带明确超时和异常捕获。示例：

@app.task(bind=True, autoretry_for=(requests.RequestException,), retry_kwargs={'max_retries': 3, 'countdown': 60})
def fetch_page(self, url):
    try:
        resp = requests.get(url, timeout=10)
        resp.raise_for_status()
        save_to_db(parse_html(resp.text))
    except requests.RequestException as exc:
        raise self.retry(exc=exc)

注意：bind=True 让任务能调用 self.retry()；autoretry_for 自动重试指定异常；countdown 控制重试间隔（首次失败后等60秒再试）。

四、定时任务不是 cron，而是 beat + schedule

Celery Beat 是独立调度进程，读取 CELERY_BEAT_SCHEDULE 配置，向 broker 发送周期性任务。不依赖系统 crontab：

• 在 celery_app.py 中配置：

CELERY_BEAT_SCHEDULE = {
    'crawl-homepage-every-10-mins': {
        'task': 'tasks.fetch_page',
        'schedule': 600.0,  # 秒
        'args': ['https://example.com/']
    },
    'crawl-category-daily-at-2am': {
        'task': 'tasks.fetch_category_list',
        'schedule': crontab(hour=2, minute=0),
        'args': [1]
    }
}

• 启动调度器：celery -A celery_app.celery beat --loglevel=info
• 注意：beat 和 worker 可运行在不同机器，只要连同一个 Redis 即可协同

五、实战提醒：几个容易踩的坑

• 全局变量/数据库连接不能跨 task 复用：每个 task 是独立进程/线程，连接对象要每次新建或用连接池（如 SQLAlchemy 的 scoped_session）
• 不要在 task 里 sleep() 控制频率：该用 rate_limit='1/m' 或 throttle 插件限制单位时间调用次数
• 日志别打屏，统一走 Celery 日志系统：配置 CELERY_WORKER_LOG_FORMAT，方便用 ELK 或 Sentry 收集异常
• 敏感参数（如 Cookie、Token）别硬编码在 schedule 里：改用数据库查或环境变量注入，避免定时任务重启就失效

不复杂但容易忽略。把任务当接口写，把调度当服务用，爬虫才能长期稳住。

今天关于《Celery与定时任务结合的Python爬虫教程》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！