Pandas筛选含A不包含B的字符串方法

本文深入解析了在Pandas中如何利用`str.contains()`方法和逻辑运算符实现复杂的字符串筛选，尤其针对“包含A但不包含B”这类需求提供了清晰的解决方案。文章强调了Pandas按位运算符`&`（与）和`~`（非）在组合筛选条件中的关键作用，避免使用Python原生`and`、`or`、`not`可能导致的错误。通过实例代码，详细演示了如何筛选出同时包含多个字符串，以及如何结合`.loc`和`.mask`进行数据筛选和条件赋值。此外，还介绍了`str.contains()`方法的大小写敏感性设置、正则表达式支持以及缺失值处理等进阶用法，旨在帮助读者高效处理和分析文本数据，提升Pandas数据处理能力。掌握这些技巧，能有效应对各种文本数据筛选场景，提升数据分析效率。

在数据分析和处理中，我们经常需要根据文本列的内容来筛选或修改DataFrame中的数据。Pandas库提供了强大的str.contains()方法，用于检查字符串是否包含特定模式。然而，当需要组合多个条件，例如“包含某个词”并且“不包含另一个词”时，理解正确的逻辑运算符至关重要。

核心概念：组合字符串条件

Pandas Series.str.contains()方法返回一个布尔Series，指示每个元素是否包含指定的子字符串。要组合这些布尔Series，我们必须使用Pandas特有的按位逻辑运算符，而非Python原生的and、or、not。

• 按位与 (&)：用于组合两个或多个条件，表示所有条件都必须为真。
• 按位或 (|)：用于组合两个或多个条件，表示任一条件为真即可。
• 按位非 (~)：用于对条件进行否定，即“不包含”某个模式。

1. 包含指定字符串 这是最基础的用法，用于检查列中的字符串是否包含特定子字符串。

import pandas as pd

# 创建一个示例DataFrame
data = {
    'ID': [1, 2, 3, 4, 5],
    'Details': [
        'Mercedes 123',
        'Green not sold',
        'BMW X5',
        'Mercedes C-Class',
        'Audi A4 123'
    ]
}
df = pd.DataFrame(data)

# 筛选包含 'Mercedes' 的行
condition_mercedes = df['Details'].str.contains('Mercedes')
print("筛选包含 'Mercedes' 的行:\n", df[condition_mercedes])

2. 同时包含多个字符串 当需要筛选出同时包含多个特定子字符串的行时，可以使用 & 运算符。

# 筛选同时包含 'Mercedes' 和 '123' 的行
condition_mercedes_and_123 = df['Details'].str.contains('Mercedes') & df['Details'].str.contains('123')
print("\n筛选同时包含 'Mercedes' 和 '123' 的行:\n", df[condition_mercedes_and_123])

3. 包含一个但不包含另一个字符串 这是本教程的核心问题。要实现“包含A但同时不包含B”的逻辑，我们需要结合 & 和 ~ 运算符。

# 筛选包含 'Mercedes' 但不包含 '123' 的行
condition_mercedes_not_123 = df['Details'].str.contains('Mercedes') & ~df['Details'].str.contains('123')
print("\n筛选包含 'Mercedes' 但不包含 '123' 的行:\n", df[condition_mercedes_not_123])

在这个例子中，~df['Details'].str.contains('123') 会生成一个布尔Series，其中包含'123'的行对应的布尔值为False，不包含的为True。然后，这个反转的布尔Series与df['Details'].str.contains('Mercedes')通过 & 运算符结合，从而筛选出满足“包含Mercedes”且“不包含123”双重条件的行。

实战示例：筛选与赋值

我们可以将上述条件应用于DataFrame的筛选 (.loc) 或条件赋值 (.mask, .loc)。

示例1：筛选符合条件的行

# 筛选出 'Details' 列中包含 'Mercedes' 但不包含 '123' 的所有行
filtered_df = df.loc[df['Details'].str.contains('Mercedes') & ~df['Details'].str.contains('123')]
print("\n使用 .loc 筛选后的 DataFrame:\n", filtered_df)

示例2：基于条件进行赋值

假设我们有一个名为check的列，需要根据Details列的条件进行更新。df.mask()方法是一个非常有用的工具，当条件为True时，它会用指定的值替换DataFrame中的元素。

# 初始化一个 'check' 列
df['check'] = 'Original Value'

# 定义用于赋值的字符串
color1 = "Mercedes (No 123)"
color2 = "Green not sold" # 这个在当前示例中未使用，但可以用于其他条件

# 应用条件：如果 'Details' 包含 'Mercedes' 且不包含 '123'，则更新 'check' 列
# mask的第一个参数是条件，第二个参数是当条件为True时赋的值
df['check'] = df['check'].mask(df['Details'].str.contains('Mercedes') & ~df['Details'].str.contains('123'), color1)

# 如果有其他条件，例如 'Green not sold'
df['check'] = df['check'].mask(df['Details'].str.contains('Green not sold'), color2)

print("\n应用条件赋值后的 DataFrame:\n", df)

在这个df.mask()的例子中，当df['Details'].str.contains('Mercedes') & ~df['Details'].str.contains('123')这个复合条件为True时，df['check']对应位置的值会被color1替换。

注意事项与进阶用法

• 大小写敏感性 (case=False)：str.contains()默认是大小写敏感的。如果你想进行不区分大小写的匹配，可以设置case=False。

  # 不区分大小写地查找 'mercedes'
  df[df['Details'].str.contains('mercedes', case=False)]

• 正则表达式 (regex=True)：str.contains()默认支持正则表达式。如果你需要更复杂的模式匹配（例如，匹配单词边界、数字模式等），可以利用正则表达式。

  # 查找包含 'Mercedes' 后面跟着任意数字的模式
  df[df['Details'].str.contains(r'Mercedes \d+', regex=True)]

• 处理缺失值 (na=False)：如果Details列中存在NaN值，str.contains()默认会返回NaN。为了避免这种情况，并将其视为不匹配，可以设置na=False。

  # 示例：包含NaN值的列
  df_nan = pd.DataFrame({'Text': ['apple', 'banana', None, 'orange']})
  # 查找包含 'a'，并将NaN视为False
  df_nan[df_nan['Text'].str.contains('a', na=False)]

总结

在Pandas中进行字符串条件的组合筛选是数据处理的常见需求。掌握str.contains()方法以及&（按位与）、|（按位或）、~（按位非）这些Pandas特有的布尔运算符至关重要。通过灵活运用这些工具，你可以高效地从DataFrame中筛选出符合特定复杂文本模式的数据，并进行相应的处理或赋值操作。记住，在处理Pandas Series的布尔运算时，始终使用&、|、~，而非Python原生的and、or、not，以确保正确的元素级操作。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Pandas筛选含A不包含B的字符串方法》文章吧，也可关注golang学习网公众号了解相关技术文章。