Python爬虫在数据抓取过程中，避免重复抓取和存储是提升效率、节省资源的关键。本文深入探讨了四种有效去重方法，旨在帮助开发者构建更健壮的爬虫系统。针对小规模爬虫任务，可直接使用Python内置的集合（set）来记录已抓取的URL，简单高效。对于大规模或分布式爬虫，推荐结合Redis与布隆过滤器，利用Redis高性能读写和布隆过滤器的高效判重能力，实现跨进程、跨机器的去重与持久化。最后，即使在抓取阶段做了去重，仍需在数据库存储时通过唯一索引等约束，防止因程序异常导致的重复写入，形成去重闭环，确保数据的唯一性和完整性。

使用集合、Redis、布隆过滤器和数据库唯一约束可有效避免爬虫重复抓取。小规模用set，大规模结合Redis与布隆过滤器，存储时通过数据库唯一索引防止重复插入，形成去重闭环。

在使用Python爬虫抓取数据时，避免重复抓取和存储是提升效率、节省资源的关键环节。如果不对已抓取的URL或数据进行去重处理，程序可能会反复请求同一页面，不仅浪费带宽，还可能被目标网站封禁IP。以下是几种常见且有效的去重方法。

1. 使用集合（set）记录已抓取的URL

最简单直接的方式是用Python内置的set结构来保存已经请求过的URL。因为set具有唯一性，插入重复元素不会生效，适合快速判断某个URL是否已处理。

visited_urls = set()
for url in url_list:
    if url not in visited_urls:
        visited_urls.add(url)
        # 执行爬取操作
        crawl(url)

适用于小规模任务。但如果程序重启，set中的数据会丢失，无法持久化。

2. 利用Redis实现去重与持久化

对于大规模或分布式爬虫，推荐使用Redis作为去重中心。Redis支持高性能读写，并提供set和bitmap等数据结构，适合跨进程、跨机器共享状态。

可以将每个请求过的URL存入Redis的set中：

import redis
<p>r = redis.Redis(host='localhost', port=6379, db=0)
if r.sadd('crawled_urls', url) == 1:</p><h1>返回1表示新增成功，说明之前未抓取</h1><pre class="brush:python;toolbar:false;">crawl(url)

else:

返回0表示已存在，跳过

pass

若对内存要求更高，还可使用Redis的布隆过滤器（通过扩展模块如redisbloom），实现更高效的去重判断。

3. 布隆过滤器（Bloom Filter）高效判重

布隆过滤器是一种空间效率高、查询速度快的概率型数据结构，适合判断一个元素“是否可能已存在”。虽然存在极低的误判率（认为存在但实际没有），但不会漏判。

在爬虫中，可结合bitarray和哈希函数自行实现，或使用现成库如pybloom_live：

pip install pybloom-live

from bloom_filter import BloomFilter
<p>bf = BloomFilter(max_elements=1000000, error_rate=0.1)
if url not in bf:
bf.add(url)
crawl(url)</p>

特别适合内存受限但需处理大量URL的场景。

4. 数据库存储时防止重复插入

即使抓取阶段做了去重，存储时仍可能因程序异常导致重复写入。可通过数据库约束来保障唯一性。

例如，在MySQL中为URL字段添加唯一索引：

ALTER TABLE pages ADD UNIQUE INDEX idx_url (url);

插入时使用INSERT IGNORE或ON DUPLICATE KEY UPDATE语句，避免报错中断程序。

如果是使用ORM如SQLAlchemy，可在模型中设置唯一约束，并捕获异常或使用upsert逻辑。

基本上就这些。选择哪种方式取决于项目规模和运行环境。小项目用set就够了，中大型建议结合Redis+布隆过滤器，再配合数据库层面的唯一约束，就能有效避免重复抓取和存储问题。不复杂但容易忽略细节，关键是形成闭环控制。

今天关于《Python爬虫防重复抓取技巧》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！