Python网页解析：HTML与XPath实用教程

建议动手前先用浏览器开发者工具（F12）右键元素 → “Copy XPath”，观察生成路径，再手动简化（比如把冗长的绝对路径/html/body/div[3]/section/div/h2换成更健壮的相对路径//section//h2）。

常用XPath语法速查与避坑

• //tag：匹配任意层级的tag元素（如//a找所有链接）
• @attr="value"：按属性筛选（如//img[@alt]找有alt属性的图片，//div[@id="content"]精准定位）
• text()：取标签内纯文本（如//span/text()，注意它不包含子标签内容）
• contains(@class, "btn")：class含“btn”就匹配（避免因class多值如class="btn btn-primary"导致完全匹配失败）
• position()=1 或 [1]：取第一个匹配项（XPath索引从1开始，不是0）

常见错误：用/div[1]想取第一个div，结果没生效——因为这是指父节点下的第一个子元素是否为div，而非页面中第一个div。应改用(//div)[1]。

用lxml + XPath实战解析一页

安装：pip install lxml（比内置的html.parser更快更标准，对XPath支持完整）

基础流程：

• 用requests获取HTML源码（注意加headers模拟浏览器，防反爬）
• 用lxml.html.fromstring()解析成可查询对象
• 调用.xpath()方法传入XPath字符串，返回列表（即使只匹配一个，也是[Element]）
• 对结果用.text_content()或.get("href")等提取内容

示例：抓取豆瓣电影Top250第一页的片名和评分

from lxml import html
import requests

resp = requests.get("https://movie.douban.com/top250", headers={"User-Agent": "Mozilla/5.0..."})
tree = html.fromstring(resp.content)
titles = tree.xpath('//div[@class="hd"]/a/span[1]/text()')
ratings = tree.xpath('//div[@class="bd"]/div[@class="star"]/span[2]/text()')
for t, r in zip(titles, ratings):
    print(f"{t.strip()} —— {r.strip()}")

当XPath失效时的应对思路

页面动态渲染（如Vue/React）、JS懒加载、反爬策略都可能导致直接请求HTML拿不到目标数据。这时别硬调XPath：

• 先确认源码里是否真有该内容（Ctrl+U看原始HTML），没有就说明是JS生成的，需换方案（如Selenium、Playwright）
• 检查是否被重定向或需要登录cookie，用session保持状态
• 部分网站会随机改class名，可改用更稳定的定位方式：比如找附近有固定文字的标签，用following-sibling::或ancestor::向上找容器
• XPath太复杂难维护？考虑用CSS选择器（lxml也支持.cssselect()），语义更直观，例如div.item h2.title

不复杂但容易忽略。

今天关于《Python网页解析：HTML与XPath实用教程》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！