Python爬虫提取所有链接的实战方法

本文详解了使用Python lxml库高效提取网页中所有链接（href属性）的核心方法——推荐采用`tree.xpath("//a/@href")`这一XPath表达式，因其能稳健应对无效嵌套、自闭合标签及a标签内混排的图片或文本等复杂结构；同时重点提醒常见错误（如误用`text()`、遗漏`@`符号）、相对路径处理难点（需手动解析``标签）、以及lxml无法获取JavaScript动态渲染链接的根本原因（仅解析静态HTML源码，不执行JS），帮助开发者避开高频坑点，实现准确、可靠的链接采集。

lxml解析HTML后怎么提取所有a标签的href属性

直接用tree.xpath("//a/@href")最稳，比findall()或cssselect()更可靠。XPath能跳过无效嵌套、自闭合伪标签，也不怕a里混着span或img。

常见错误是写成tree.xpath("//a/text()")——那取的是链接文字，不是地址；或者漏了@，写成"//a/href"，结果返回空列表。

• 确保传入的是etree.HTML()解析后的树对象，不是原始字符串
• href值可能是相对路径（如"./page.html"）、协议相对（如"//example.com/path"）或空字符串，需后续标准化
• 如果页面用了base[href]标签，lxml不会自动解析相对路径，得手动处理

遇到JavaScript渲染的链接，lxml为什么完全抓不到

lxml只处理静态HTML源码，不执行JS。如果链接由fetch()、Vue.mount()或document.write()动态插入，源码里压根没有a标签，xpath自然返回空。

典型现象：浏览器F12看到链接，但requests.get(url).text里搜不到；或者用curl -s URL | grep "也无结果。