使用BeautifulSoup爬取数据的实用技巧

本文直击 BeautifulSoup 爬虫实战中最常踩的两大“坑”：因缺失合法请求头导致 403 被拒，以及因忽略相对 URL 转换而使后续请求失效，并以哈佛课程目录爬取为真实案例，提供开箱即用的修复代码、逐行解析与生产级注意事项——从 User-Agent 动态更新、DOM 结构实时验证，到 urljoin 的正确用法、异常防护和合规提醒，帮你绕过隐形陷阱，让看似简单的爬虫真正稳定跑起来。

本文详解使用 BeautifulSoup 进行网页抓取时常见的两大障碍：反爬机制拦截（需设置请求头）与相对 URL 处理不当（需转为绝对路径），并提供可直接复用的完整代码范例与注意事项。

在使用 requests + BeautifulSoup 构建网页爬虫（如课程目录采集系统）时，看似简洁的代码常因忽略服务端反爬策略和 URL 规范而失败——典型表现是 response.status_code 返回 403 或 200 但 soup.find() 始终返回 None。根本原因通常有两个：缺少合法 User-Agent 请求头被拒绝访问，以及未将页面中的相对链接（如 /courses/cs50）转换为可请求的绝对 URL。

以下是一个修复后的完整示例，以爬取 Harvard Coursicle 课程列表页为例：

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin

def scrape_course_catalog(url):
    # ✅ 必须设置请求头，模拟真实浏览器行为
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
    }

    try:
        response = requests.get(url, headers=headers, timeout=10)
        response.raise_for_status()  # 自动抛出 HTTP 错误（如 404、500）

        soup = BeautifulSoup(response.content, "html.parser")
        # ✅ 修正原代码中的拼写错误：id="tileContaine" → 应为 "tileContainer"
        tile_container = soup.find("div", id="tileContainer")

        if not tile_container:
            print("⚠️ 未找到课程容器元素，请检查页面结构或 ID 是否变更")
            return []

        courses = []
        for link in tile_container.find_all("a", href=True):
            # ✅ 将相对路径转为绝对 URL，确保后续请求可达
            absolute_url = urljoin(url, link["href"])
            course_name = link.get_text(strip=True)
            courses.append({"name": course_name, "url": absolute_url})

        return courses

    except requests.exceptions.RequestException as e:
        print(f"❌ 请求异常：{e}")
        return []
    except Exception as e:
        print(f"❌ 解析异常：{e}")
        return []

# 使用示例
if __name__ == "__main__":
    base_url = "https://www.coursicle.com/harvard/courses/"
    catalog = scrape_course_catalog(base_url)
    for item in catalog[:5]:  # 仅打印前5条示例
        print(f"? {item['name']} → {item['url']}")

? 关键注意事项：

• User-Agent 不可省略且需保持更新：过时的 UA（如 Firefox 91）可能被新版本 WAF 拦截；建议使用主流现代浏览器 UA，并定期检查。
• ID/Class 名称易变动：目标网站前端迭代可能导致 id="tileContainer" 变更为其他值，务必通过浏览器开发者工具实时验证 DOM 结构。
• 相对 URL 转换是硬性要求：urljoin() 能正确处理各种边界情况（如 //example.com、/path、../sub），避免手动拼接引发的 404。
• 添加异常处理与超时：生产环境必须设置 timeout 并捕获 requests.exceptions，防止程序因网络波动无限阻塞。
• 遵守 robots.txt 与网站条款：高频请求或非授权数据采集可能违反服务协议，建议添加 time.sleep() 间隔，并查阅 https://www.coursicle.com/robots.txt。

掌握这两项基础但关键的实践——合理构造请求头与规范处理链接——即可大幅提升 BeautifulSoup 爬虫的鲁棒性与可用性，为构建稳定的数据采集管道打下坚实基础。

以上就是《使用BeautifulSoup爬取数据的实用技巧》的详细内容，更多关于的资料请关注golang学习网公众号！