Pandas删除含特定字符串的行方法

欢迎各位小伙伴来到golang学习网，相聚于此都是缘哈哈哈！今天我给大家带来《Pandas删除含特定字符串的行教程》，这篇文章主要讲到等等知识，如果你对文章相关的知识非常感兴趣或者正在自学，都可以关注我，我会持续更新相关文章！当然，有什么建议也欢迎在评论留言提出！一起学习！

本文详细介绍了在Pandas DataFrame中根据列内容包含特定子字符串来删除行的方法。针对常见的使用`str.contains()`方法却未能成功删除行的问题，教程重点阐述了`case`参数的重要性，并提供了结合`na=False`和`reset_index(drop=True)`的完整解决方案，确保实现精确且高效的数据清理。

在数据清洗过程中，我们经常需要根据DataFrame中某一列的值来过滤或删除行。其中一个常见场景是，当某一列（例如“Title”列）包含特定的部分字符串时，需要删除对应的整行数据。虽然Pandas提供了强大的字符串操作功能，但在实际操作中，有时会遇到看似正确的代码却无法生效的问题。本教程将深入探讨如何使用str.contains()方法，并解决其可能遇到的陷阱。

理解问题：为什么 str.contains() 可能不生效？

用户在尝试删除包含特定子字符串“NQR”的行时，遇到了代码运行无错但目标行依然存在的问题。常用的尝试包括：

# 尝试1：使用 isin，不适用于部分字符串匹配
df[~df['Title'].isin(['NQR'])]

# 尝试2：使用 str.contains，但可能忽略了关键参数
df[~df.Title.str.contains("NQR", na=False)]

# 尝试3：使用 '|'.join 构造多个匹配字符串，同样可能忽略关键参数
discard = ["NQR"]
df[~df.Title.str.contains('|'.join(discard), na=False)]

这些尝试失败的原因，往往在于对str.contains()方法的某些关键参数理解不足，尤其是当数据中存在大小写差异时。

核心解决方案：利用 str.contains() 的 case 参数

pandas.Series.str.contains() 方法是处理此类问题的利器，它能够检查Series中的每个字符串是否包含指定的模式（子字符串或正则表达式）。其关键参数包括：

• pat: 要搜索的模式（字符串或正则表达式）。
• case: 布尔值，默认为True。如果为True，则执行区分大小写的匹配；如果为False，则执行不区分大小写的匹配。
• na: 任何非字符串值（如NaN）的处理方式。如果为False，则NaN值将被视为不包含模式。
• regex: 布尔值，默认为True。如果为True，则将pat解释为正则表达式；如果为False，则将其解释为文字字符串。

对于本例中“NQR”的匹配，如果原始数据中可能存在“nqr”、“NQR”、“NqR”等多种大小写形式，而我们希望无论大小写都能匹配并删除，那么case=False参数就变得至关重要。

示例代码与详细步骤

假设我们有一个DataFrame df，其中包含一个名为“Title”的列：

import pandas as pd

# 创建一个示例DataFrame
data = {
    'ID': [1, 2, 3, 4, 5, 6],
    'Title': ['Product A', 'Product B NQR', 'Service C', 'Product D nqr', 'Feature E', 'Another NQR Item']
}
df = pd.DataFrame(data)

print("原始DataFrame:")
print(df)

# 目标：删除 'Title' 列中包含 'NQR' (不区分大小写) 的行

# 步骤1：使用 str.contains() 结合 case=False 进行不区分大小写的匹配
# df['Title'].str.contains('NQR', na=False, case=False) 会返回一个布尔Series
# True 表示包含 'NQR' (不区分大小写)，False 表示不包含或为NaN

# 步骤2：使用波浪线 ~ 对布尔Series取反，选择不包含 'NQR' 的行
# ~df['Title'].str.contains('NQR', na=False, case=False) 会选择我们想要保留的行

# 步骤3：将筛选结果赋值回原DataFrame，完成行删除
df = df[~df['Title'].str.contains('NQR', na=False, case=False)]

# 步骤4：重置DataFrame的索引
# 当删除行后，DataFrame的索引会变得不连续。reset_index(drop=True) 可以重新生成一个从0开始的连续索引。
# drop=True 参数表示不将旧索引作为新列添加到DataFrame中。
df = df.reset_index(drop=True)

print("\n删除包含 'NQR' (不区分大小写) 的行后的DataFrame:")
print(df)

代码解释：

1. df['Title'].str.contains('NQR', na=False, case=False)：这行代码会生成一个布尔Series。'NQR'是我们要查找的子字符串。na=False确保任何NaN值在“Title”列中都被视为不包含“NQR”。最关键的是case=False，它告诉Pandas在进行匹配时忽略大小写差异。因此，“Product B NQR”、“Product D nqr”和“Another NQR Item”对应的位置将为True。
2. ~：这是一个逻辑非操作符。它将上述布尔Series中的True变为False，False变为True。这样，我们就可以选择那些不包含“NQR”（不区分大小写）的行，即我们想要保留的行。
3. df = df[...]：将筛选后的DataFrame重新赋值给df，从而完成行的删除。
4. df.reset_index(drop=True)：在删除行之后，DataFrame的索引可能会变得不连续。reset_index()方法可以重新生成一个从0开始的默认整数索引。drop=True参数用于防止将旧索引添加为DataFrame中的新列。

注意事项与最佳实践

• 大小写敏感性 (case 参数)：这是最常见的导致str.contains()“不工作”的原因。务必根据需求设置case=True（区分大小写）或case=False（不区分大小写）。
• 处理缺失值 (na 参数)：如果你的目标列中可能存在NaN值，na参数可以帮助你明确如何处理它们。na=False（推荐）会将NaN值视为不包含模式，而na=True则会将NaN值视为包含模式。
• 正则表达式 (regex 参数)：默认情况下，str.contains()将pat参数解释为正则表达式。如果你的模式是简单的文字字符串，并且不包含任何正则表达式特殊字符（如., *, +, ?, [], (), |, ^, $, \），那么可以省略regex=True或明确设置为regex=False以提高性能。但在本例中，'NQR'是一个普通字符串，所以默认行为是安全的。
• 性能考量：对于非常大的DataFrame，字符串操作可能会比较耗时。如果需要处理大量数据，可以考虑使用向量化操作或NumPy优化。然而，对于大多数常见的数据集，上述Pandas方法已经足够高效。
• 链式操作：为了代码的简洁性，可以将筛选和重置索引操作链式调用，如示例代码所示。

总结

通过本教程，我们深入探讨了在Pandas中根据列内容包含特定子字符串来删除行的有效方法。关键在于正确使用df.column.str.contains()方法，并特别注意case参数以处理大小写敏感性问题。结合na=False处理缺失值和reset_index(drop=True)重置索引，可以确保数据清理操作的准确性和代码的健壮性。掌握这些技巧，将使您在Pandas数据处理中更加得心应手。

好了，本文到此结束，带大家了解了《Pandas删除含特定字符串的行方法》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多文章知识！