BeautifulSoup提取分类链接完整教程

哈喽！今天心血来潮给大家带来了《Beautiful Soup 提取分类链接的完整方法如下：1. 安装 Beautiful Soup 和 requests首先确保安装了 beautifulsoup4 和 requests 库：pip install beautifulsoup4 requests2. 导入必要的库import requests from bs4 import BeautifulSoup3. 获取网页内容使用 requests.get() 获取网页源码：url = 'https://example.com' # 替换为实际网址 response = requests.get(url) html_content = response.text4. 解析 HTML 内容使用 BeautifulSoup 解析 HTML：soup = BeautifulSoup(html_content, 'html.parser')5. 查找所有分类链接根据网页结构，查找包含分类链接的标签（如 标签）并提取 href 属性。示例：查找所有 标签中带有类名 category-link 的链接category_links = soup.find_all('a', class_='category-link') for link in category_links: print(link['href'])示例：查找所有

本文详解为何 `find_all(class_="side_categories")` 返回单个 `

from bs4 import BeautifulSoup
import requests

url = "http://books.toscrape.com/"
page = requests.get(url)
soup = BeautifulSoup(page.text, "html.parser")

# 直接定位所有位于 .side_categories 内的 <a> 标签（层级更精确）
for link in soup.select('.side_categories li a'):
    href = link.get('href')
    if href:  # 防止 None 值
        full_url = url.rstrip('/') + '/' + href.lstrip('/')
        print(full_url)

# 先找到容器，再在其内部查找所有 <a> 标签
side_nav = soup.find(class_='side_categories')
if side_nav:
    for link in side_nav.find_all('a'):
        href = link.get('href')
        if href:
            full_url = url.rstrip('/') + '/' + href.lstrip('/')
            print(full_url)