Scrapy提取非标签文本的技巧分享
时间：2025-10-23 11:30:47 487浏览 收藏
知识点掌握了，还需要不断练习才能熟练运用。下面golang学习网给大家带来一个文章开发实战，手把手教大家学习《Scrapy CSS提取非标签文本的实用技巧》，在实现功能的过程中也带大家重新温习相关知识点，温故而知新，回头看看说不定又有不一样的感悟！
本教程详细讲解了在Scrapy中使用CSS选择器提取HTML中未被独立标签包裹的文本数据（如数字）的方法。通过分析`::text`选择器与`get()`和`getall()`方法的行为差异，展示了如何利用`getall()`获取所有匹配的文本节点，并通过列表索引和正则表达式精确提取目标数据，解决`get()`返回`None`或错误值的问题。
理解HTML文本节点的提取挑战
在使用Scrapy进行网页抓取时，我们经常需要从HTML中提取特定的文本信息。然而，当这些文本内容并非整齐地包裹在独立的标签（如、 等）中，而是作为父元素下的直接文本节点存在时，提取过程可能会变得复杂。例如，在一个包含多个子元素和文本节点的div中，直接使用::text选择器配合get()方法往往无法准确获取到我们期望的特定文本。 考虑以下HTML结构片段，我们的目标是提取数字“1”： 在这个例子中，数字“1”是父div（带有类search-results-listings-list__item-description__characteristics__item）的一个直接文本子节点，位于一个svg标签和一个包含“Chambres”的div之后。 在Scrapy中，::text伪元素用于选择元素的直接文本内容。然而，它的行为与我们使用的提取方法（get()或getall()）密切相关。 get()方法：当一个选择器匹配到多个文本节点时，get()方法只会返回第一个匹配到的文本节点。在上述HTML示例中，如果对最外层div使用::text，它可能会返回svg标签前的空白符、svg标签后的空白符，或者“Chambres”这个文本，而不是我们想要的“1”。这就是为什么最初尝试 house_listing.css('div.search-results-listings-list__item-description__characteristics__item::text').get() 可能返回None或不相关文本的原因。 getall()方法：与get()不同，getall()方法会返回所有匹配到的文本节点，以列表的形式呈现。这对于提取分散在多个子元素之间的文本节点至关重要。 要精确提取上述HTML结构中的数字“1”，关键在于使用getall()获取所有文本节点，然后从结果列表中选择正确的项。 首先，我们可以使用一个更具特异性的CSS选择器来定位包含目标信息的父元素，并利用:contains()伪类来确保我们选择的是正确的列表项（例如，包含“Chambres”的特性项）。::text选择器与get()/getall()的行为差异
解决方案：结合getall()和列表索引
import scrapy
import re
html_snippet = """
