积累知识，胜过积蓄金银！毕竟在文章开发的过程中，会遇到各种各样的问题，往往都是一些细节知识点还没有掌握好而导致的，因此基础知识点的积累是很重要的。下面本文《CSS选择器与:not()在Scrapy中提取文本技巧》，就带大家讲解一下知识点，若是你对本文感兴趣，或者是想搞懂其中某个知识点，就请你继续往下看吧~

理解问题：精准文本抓取的挑战

在网页抓取任务中，我们经常会遇到需要从一个HTML元素中提取其直接文本内容，但又必须忽略其内部子元素所包含的文本的情况。例如，考虑以下HTML结构：

<div class="classA classB classC">
  <div class="classD classE">
    <h1 class="classF classD">Text I don't want</h1>
    <ul>....</ul> <!-- 包含更多嵌套文本，不需要 -->
  </div>
  Text I want to grab.  <!-- 目标文本 -->
  <br>
  More text I want to grab <!-- 目标文本 -->
</div>

我们的目标是仅提取 ["Text I want to grab.", "More text I want to grab"]，而 Text I don't want 应该被完全忽略。

初学者常犯的错误是使用类似 response.css('.classA *::text').getall() 这样的选择器。*::text 会匹配所有后代元素的文本节点，导致 Text I don't want 也被抓取。如果尝试使用 :not(.classD) 排除包含 h1 的 div，例如 response.css('.classA:not(.classD) *::text').getall()，这仍然可能无法达到预期，因为 *::text 会捕获所有子孙文本，而 :not(.classD) 作用于 .classA 本身。

核心解决方案：CSS选择器与:not()的组合

Scrapy（底层使用cssselect库）的CSS选择器提供了一种强大且灵活的方式来解决此类问题。关键在于理解::text伪元素与:not()伪类的组合行为。

1. ::text 伪元素：在Scrapy中，当::text直接跟随一个元素选择器时（例如 div::text），它通常会选择该元素下直接的文本节点，而不会深入到其子元素的文本内容。然而，当它与:not()伪类结合使用时，其行为会变得更加强大。

2. :not() 伪类与 ::text 的协同：cssselect库支持一种特殊行为，即当:not(F)与E::text组合时，它不仅作用于元素E本身，还能作为一种过滤器，排除那些位于带有F类名的子孙元素内部的文本节点。这意味着，即使Text I don't want是嵌套在 h1 元素中，只要这个 h1 带有我们想要排除的类名（例如 classF），我们就可以利用 :not(.classF) 来阻止其文本被抓取。

基于上述理解，我们可以构建如下的CSS选择器：

response.css('div.classA.classB.classC:not(.classF)::text').getall()

让我们详细解析这个选择器：

• div.classA.classB.classC: 精确定位到我们想要从中提取文本的目标父元素。
• :not(.classF): 这是关键所在。它告诉选择器，在从 div.classA.classB.classC 及其后代中提取文本时，要排除那些位于带有 classF 类名的元素内部的文本节点。由于 Text I don't want 位于

  内部，因此它会被这个 :not(.classF) 规则有效地过滤掉。

• ::text: 最终选择所有符合上述条件的文本节点。

通过这种方式，我们能够精准地获取到父元素下我们想要的文本，同时剔除不相关的子元素文本。

提取结果的后处理

getall() 方法会返回一个包含所有匹配文本节点的列表，其中可能包含大量的空白字符、换行符等。为了得到干净、易于处理的文本，通常需要进行后处理。

以下是一些常用的后处理方法及其示例：

1. 连接所有文本并清理

这种方法会将所有文本块连接成一个字符串，然后去除多余的空白和换行。

import scrapy
from scrapy.selector import Selector

html_content = '''
<div class="classA classB classC">
  <div class="classD classE">
    <h1 class="classF classD">Text I don't want</h1>
    <ul>....</ul> <!-- containing more text in nested children, don't want -->
  </div>
  Text I want to grab.
  <br>
  More text I want to grab
</div>
'''

resp = Selector(text=html_content)

# 原始抓取结果
raw_texts = resp.css('div.classA.classB.classC:not(.classF)::text').getall()
print

理论要掌握，实操不能落！以上关于《CSS选择器与:not()提取文本技巧》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！