Django异步爬虫与实时推送架构解析

本文深入剖析了在 Django 中构建高可靠性异步爬虫与实时数据推送系统的最佳实践，提出以「Redis + ASGI + Server-Sent Events（SSE）」为核心的轻量级解耦方案——让爬虫作为独立异步进程安全运行，Django 专注无状态、可伸缩的流式响应，彻底规避 asyncio.run() 冲突、线程阻塞和中间件同步陷阱；该架构不仅天然适配 Django 原生异步生态（如 sync_to_async 和 ASGI 流式响应），还通过 Redis 实现数据暂存、过期清理与进程隔离，配合 SSE 的自动重连与低开销单向推送，完美支撑监控看板、行情聚合、舆情抓取等强实时场景，无需引入 Channels 或 Celery 等重型组件，兼顾技术前瞻性、运维简洁性与生产级稳定性。

本文详解如何在 Django 项目中解耦长期运行的异步爬虫与 Web 展示层，推荐采用「Redis + ASGI + Server-Sent Events（SSE）」组合方案，兼顾可靠性、可扩展性与 Django 原生异步生态兼容性，避免线程/进程阻塞、事件循环冲突及中间件同步陷阱。

本文详解如何在 Django 项目中解耦长期运行的异步爬虫与 Web 展示层，推荐采用「Redis + ASGI + Server-Sent Events（SSE）」组合方案，兼顾可靠性、可扩展性与 Django 原生异步生态兼容性，避免线程/进程阻塞、事件循环冲突及中间件同步陷阱。

在构建需持续采集外部数据并实时推送给用户的 Django 应用（如监控看板、行情聚合页、舆情抓取终端）时，核心挑战在于：爬虫必须独立、健壮、异步运行；而 Django 视图/响应机制必须无状态、可伸缩、且能低延迟广播最新结果。直接在视图中启动 while True 循环、滥用 asyncio.run() 或强行嵌入多进程通信，不仅违反 Django 异步设计原则，更易引发 RuntimeError: asyncio.run() cannot be called from a running event loop 等致命错误——这正是你在 Daphne SSE 示例中遇到的根本原因：ASGI 服务器（如 Daphne/Uvicorn）已托管主事件循环，任何试图在其内部重复启动新 asyncio.run() 的操作均被 Python 明确禁止。

✅ 正确路径是 关注分离（Separation of Concerns）：

• 爬虫层：作为独立的异步 Python 进程（如 scraper.py），使用 httpx.AsyncClient、aiofiles 等原生异步库，通过 asyncio.sleep() 控制频率，将结构化结果（如 JSON 字典）以键值对形式写入 Redis（例如 SET scraper:last_result '{"title":"xxx","value":123}'）；
• 服务层：Django 项目运行于 ASGI 模式（uvicorn myproject.asgi:application），启用 django-channels 或直接使用原生 ASGI 路由处理 SSE；
• 传输层：采用 Server-Sent Events（SSE），因其单向、轻量、自动重连、天然支持 HTTP/2 流式响应，完美匹配“服务端主动推送最新快照”的场景，远优于 WebSocket（过度复杂）或轮询（高延迟/高负载）。

✅ 推荐实现：ASGI + Redis + 原生 SSE 视图

首先确保 Django 运行于 ASGI 模式（检查 asgi.py 存在且 runserver 已弃用，改用 uvicorn myproject.asgi:application --reload）。接着安装依赖：

pip install redis httpx

1. 异步爬虫脚本（scraper.py）

import asyncio
import json
import redis
from httpx import AsyncClient

# 连接 Redis（建议使用连接池）
r = redis.Redis(host='localhost', port=6379, db=0, decode_responses=True)

async def fetch_data():
    async with AsyncClient() as client:
        resp = await client.get("https://api.example.com/data")
        return resp.json()

async def main():
    while True:
        try:
            data = await fetch_data()
            # 写入 Redis，设置过期时间防止脏数据堆积
            r.setex("scraper:last_result", 300, json.dumps(data))  # 5分钟过期
            print(f"[SCRAPER] Updated: {data.get('timestamp', 'N/A')}")
        except Exception as e:
            print(f"[SCRAPER] Error: {e}")
        await asyncio.sleep(30)  # 每30秒采集一次

if __name__ == "__main__":
    asyncio.run(main())  # ✅ 独立进程入口，安全调用 asyncio.run()

⚠️ 注意：此脚本绝不在 Django 进程内运行，应作为 systemd 服务、Supervisor 进程或 Docker 容器常驻后台。

2. Django SSE 视图（views.py）

import json
import asyncio
import redis
from django.http import HttpResponse, StreamingHttpResponse
from django.views.decorators.csrf import csrf_exempt
from asgiref.sync import sync_to_async

# 复用 Redis 连接（注意：非阻塞，因 Redis py 默认同步，但短命连接可接受；生产建议用 aioredis）
r = redis.Redis(host='localhost', port=6379, db=0, decode_responses=True)

async def sse_stream(request):
    """ASGI 原生 SSE 流式响应"""
    async def event_generator():
        last_id = 0
        while True:
            # 非阻塞轮询 Redis（生产环境可用 Redis Pub/Sub 替代轮询）
            data = await sync_to_async(r.get)("scraper:last_result")
            if data:
                try:
                    payload = json.loads(data)
                    yield f"id: {last_id}\ndata: {json.dumps(payload)}\n\n"
                    last_id += 1
                except json.JSONDecodeError:
                    pass
            await asyncio.sleep(1)  # 防止 CPU 空转

    response = StreamingHttpResponse(
        event_generator(),
        content_type="text/event-stream",
        headers={"Cache-Control": "no-cache", "X-Accel-Buffering": "no"}
    )
    response["Access-Control-Allow-Origin"] = "*"  # 如需跨域
    return response

3. URL 路由（urls.py）

from django.urls import path
from . import views

urlpatterns = [
    path("sse/", views.sse_stream, name="sse_stream"),
]

4. 前端订阅（HTML/JS）

<script>
const evtSource = new EventSource("/sse/");
evtSource.onmessage = (event) => {
  const data = JSON.parse(event.data);
  document.getElementById("live-data").textContent = 
    `更新时间: ${data.timestamp} | 数值: ${data.value}`;
};
evtSource.onerror = (err) => console.error("SSE error:", err);
</script>
<div id="live-data">等待数据...</div>

❌ 为什么其他方案不推荐？

• Multiprocessing + Pipe：Django 视图本质是短生命周期请求处理器，Pipe 通道难以持久化管理，且父子进程间异常传递、资源清理复杂，违背 Web 服务无状态原则；
• Django Channels + WebSocket：引入不必要的双向通信开销与复杂度（需维护连接状态、处理断线重连），而你的需求仅为“单向广播”，属于典型 SSE 场景；
• Celery + Webhook：Celery 任务队列适合耗时作业调度，但无法高效支撑毫秒级实时推送，且需额外配置消息中间件（RabbitMQ/Redis），增加运维负担；
• 直接 asyncio.run() 在视图中：ASGI 服务器已运行事件循环，asyncio.run() 会抛出 RuntimeError —— 这是 Python 的硬性限制，不可绕过。

✅ 关键注意事项

• Redis 是可靠枢纽：它承担了进程解耦、数据暂存、过期清理三重职责，比内存共享、文件轮询等方案更健壮；
• ASGI 是前提：确保 settings.py 中 USE_TZ = True，MIDDLEWARE 中移除所有同步中间件（如 SecurityMiddleware 可保留，但 SessionMiddleware 若未适配异步则需替换为 django.contrib.sessions.backends.cache）；
• 性能优化点：生产环境可将 Redis 轮询升级为 Pub/Sub 模式（爬虫 PUBLISH scraper:update data，SSE 视图 SUBSCRIBE scraper:update），彻底消除轮询延迟；
• 错误隔离：爬虫崩溃不影响 Django 服务，反之亦然；用户端 SSE 自动重连，即使爬虫暂停，前端仍显示最后有效快照。

该方案已在多个高并发 Django 监控系统中验证，兼具 Django 2026 年最新异步生态支持（sync_to_async, ASGI 原生流式响应）、运维简洁性与技术前瞻性。无需引入 Channels 或 Celery 等重型组件，用最少的、经过充分测试的工具链，解决最典型的实时数据流问题。

今天关于《Django异步爬虫与实时推送架构解析》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！