Scrapy跨函数传变量技巧分享

本篇文章向大家介绍《Scrapy跨解析函数传变量技巧》，主要包括，具有一定的参考价值，需要的朋友可以参考一下。

在Scrapy爬虫中，若需将`parse()`中生成的日期变量传递至深层解析函数（如`parse_race()`），不能直接使用局部变量，而应通过Spider实例属性（`self.scrapedate`）实现跨回调的数据共享。

Scrapy 的请求-响应流程是异步且基于回调的：每个 yield response.follow(...) 会发起新请求，并在后续由指定的 callback 函数处理其响应。这些回调函数运行在独立的作用域中，无法访问前一个函数内部定义的局部变量（如 scrapedate）。因此，原代码中 parse_race() 直接引用 scrapedate 会导致 NameError。

✅ 正确做法是将动态值作为 Spider 实例属性（instance attribute） 存储，并在后续回调中通过 self 访问。注意：由于多个请求可能并发执行，必须确保每个请求携带其对应的上下文数据。推荐在每次生成请求时显式设置该属性（或更优地，使用 cb_kwargs 传参，见下文进阶方案）。

以下是修复后的核心代码结构（兼容多日期、线程安全）：

import scrapy
from datetime import datetime, timedelta
from dogscraper.items import DogItem

racedate = '2024-01-25'
days = 2
realdate = datetime.strptime(racedate, '%Y-%m-%d').date()
scrape_list = [(realdate - timedelta(days=x)).strftime('%Y-%m-%d') for x in range(days)]

class DogspiderSpider(scrapy.Spider):
    name = "dogspider"
    allowed_domains = ["www.thedogs.com.au"]
    # start_urls 仅用于初始请求；实际多日期由 parse 动态生成
    start_urls = ["https://www.thedogs.com.au/racing/" + racedate]

    def parse(self, response):
        for scrapedate in scrape_list:
            next_dateurl = 'https://www.thedogs.com.au/racing/' + scrapedate
            # ✅ 方案1：使用 cb_kwargs（推荐！更清晰、线程安全、无需维护状态）
            yield response.follow(
                next_dateurl,
                callback=self.parse_date,
                cb_kwargs={'scrapedate': scrapedate}  # 将变量注入回调
            )

    def parse_date(self, response, scrapedate):  # 接收 cb_kwargs 参数
        nswmeetings = response.css('table.meeting-grid')[0]
        nswmeetings = nswmeetings.css('td.meetings-venues__name')

        for meeting in nswmeetings:
            meeting_url = meeting.css('a::attr(href)').get()
            if meeting_url:
                nextmeeting = 'https://www.thedogs.com.au' + meeting_url
                yield response.follow(
                    nextmeeting,
                    callback=self.parse_meeting,
                    cb_kwargs={'scrapedate': scrapedate}  # 向下透传
                )

    def parse_meeting(self, response, scrapedate):
        races = response.css('a.race-box.race-box--result')
        for race in races:
            race_url = race.css('::attr(href)').get()  # 修正：race 已是 a 标签，无需再写 a.
            if race_url:
                nextrace = 'https://www.thedogs.com.au' + race_url
                yield response.follow(
                    nextrace,
                    callback=self.parse_race,
                    cb_kwargs={'scrapedate': scrapedate}
                )

    def parse_race(self, response, scrapedate):  # 直接接收 scrapedate
        dogs = response.css('tr.accordion__anchor.race-runner')
        for dog in dogs:
            dog_item = DogItem()
            dog_item['date'] = scrapedate  # ✅ 安全赋值
            # ... 其他字段提取逻辑（如 name, time, position 等）
            yield dog_item

? 关键说明：

• cb_kwargs 是 Scrapy 2.0+ 推荐的跨回调传参方式，它将字典参数绑定到单个请求，避免了 self.xxx 属性在并发请求中被覆盖的风险（例如：A 请求设 self.scrapedate='2024-01-25'，B 请求设为 '2024-01-24'，若 B 先完成回调，A 的 parse_race 可能误用 B 的日期）。
• 所有回调函数签名需同步添加 scrapedate 参数（如 def parse_date(self, response, scrapedate):），Scrapy 会自动注入。
• 建议对 css().get() 结果做非空校验（如 if meeting_url:），防止因页面结构变化导致 None 串联异常。

? 总结：
永远不要依赖局部变量跨越 Scrapy 回调函数；优先使用 cb_kwargs 传递轻量上下文（如日期、ID、分类等）；若需共享复杂状态（如计数器、缓存），再考虑 self 属性并加锁（极少数场景）。此模式保障了代码的可读性、可维护性与并发安全性。

本篇关于《Scrapy跨函数传变量技巧分享》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！