Pandas添加子串分类列技巧

各位小伙伴们，大家好呀！看看今天我又给各位带来了什么文章？本文标题是《利用字典为Pandas添加子串分类列方法》，很明显是关于文章的文章哈哈哈，其中内容主要会涉及到等等，如果能帮到你，觉得很不错的话，欢迎各位多多点评和分享！

在数据分析和处理中，为数据集中的记录添加分类信息是一项常见的任务。当分类依据可以从现有文本列中提取，并且这种提取涉及到子字符串匹配时，传统的映射方法可能不再适用。本教程将指导您如何利用Python的Pandas库，结合一个预定义的分类字典，为DataFrame动态地创建并填充一个类别列。

场景概述

假设我们有一个包含商品名称和成本的DataFrame，以及一个将关键词映射到类别的字典。我们的目标是根据商品名称中是否包含字典中的关键词，为其分配相应的类别。

示例数据：

一个包含商品名称的DataFrame： | Item | Cost | | :------------------------- | :--- | | apple from happy orchard | 15 | | grape from random vineyard | 20 | | chickpea and black bean mix | 10 | | coffee cup with dog decal | 14 |

一个分类字典：

category_dict = {'apple':'fruit', 'grape':'fruit', 'chickpea':'beans','coffee cup':'tableware'}

我们期望的结果是： | Item | Cost | Category | | :------------------------- | :--- | :--------- | | apple from happy orchard | 15 | fruit | | grape from random vineyard | 20 | fruit | | chickpea and black bean mix | 10 | beans | | coffee cup with dog decal | 14 | tableware |

挑战分析

直接使用 df['Item'].map(category_dict) 的方法在这里是无效的，因为map函数要求Item列中的值与category_dict的键完全匹配。然而，在我们的场景中，Item列的值是更长的描述性字符串，而category_dict的键只是这些描述中的子字符串（例如，"apple from happy orchard" 包含 "apple"）。因此，我们需要一种更灵活的匹配机制。

解决方案：使用 apply 方法与 Lambda 函数

Pandas DataFrame的apply方法允许我们对DataFrame的行或列应用一个函数。结合Python的lambda函数，我们可以定义一个自定义的匹配逻辑，遍历字典的键，检查它们是否作为子字符串存在于DataFrame的每个Item中。

以下是实现这一功能的代码示例：

import pandas as pd

# 1. 定义分类字典
category_dict = {'apple': 'fruit', 'grape': 'fruit', 'chickpea': 'beans', 'coffee cup': 'tableware'}

# 2. 创建示例 DataFrame
data = {
    'Item': ['apple from happy orchard', 'grape from random vineyard', 'chickpea and black bean mix', 'coffee cup with dog decal'],
    'Cost': [15, 20, 10, 14]
}
df = pd.DataFrame(data)

print("原始 DataFrame:")
print(df)
print("-" * 30)

# 3. 使用 apply 和 lambda 函数添加 'Category' 列
# 对于 'Item' 列中的每一个字符串 x：
# 遍历 category_dict 中的每一个键值对 (key, value)
# 如果 key 是 x 的子字符串，则返回对应的 value
# next() 函数会返回第一个匹配到的值
# 如果没有找到任何匹配，则返回 None
df['Category'] = df['Item'].apply(lambda x: next((value for key, value in category_dict.items() if key in x), None))

print("\n添加 'Category' 列后的 DataFrame:")
print(df)

代码解释：

• df['Item'].apply(...): 这会将括号内的lambda函数应用于df['Item']列中的每一个元素。
• lambda x: ...: x代表Item列中的当前字符串（例如 "apple from happy orchard"）。
• next((value for key, value in category_dict.items() if key in x), None):
  • 这是一个生成器表达式，它遍历category_dict中的所有键值对。
  • if key in x: 这是一个条件判断，检查字典的key是否是当前Item字符串x的子字符串。
  • 如果条件为真，生成器会产出对应的value。
  • next(...): 这个内置函数从生成器中获取下一个（即第一个）值。
  • next(..., None): 如果生成器没有产生任何值（即Item字符串中没有匹配到任何字典键），next函数将返回None，而不是抛出StopIteration错误。

注意事项

1. 匹配顺序： category_dict.items() 的迭代顺序会影响匹配结果。如果一个Item字符串可能匹配多个字典键（例如，"apple pie" 既包含 "apple" 也可能包含 "pie"），next函数将返回字典中第一个被迭代到的匹配项的类别。如果匹配顺序很重要，您可能需要对字典进行排序，或者调整category_dict.items()的迭代方式。
2. 无匹配项处理： 当前的解决方案在没有找到匹配项时会填充None。您可以根据需要将其替换为其他默认值，例如 'Other' 或 np.nan。

   # 示例：将未匹配项填充为 'Other'
   df['Category'] = df['Item'].apply(lambda x: next((value for key, value in category_dict.items() if key in x), 'Other'))

3. 性能考量： 对于非常大的DataFrame和/或包含大量键的字典，apply方法在Python循环中执行，可能不如Pandas内置的矢量化操作高效。然而，对于大多数常见场景，这种方法的性能是完全可以接受的。如果性能成为瓶颈，可以考虑使用正则表达式匹配或更高级的文本处理库（如fuzzywuzzy进行模糊匹配）来优化。
4. 键的精确性： 确保字典中的键足够精确，以避免意外的匹配。例如，如果有一个键是“apple”，另一个是“pineapple”，那么包含“pineapple”的项可能会意外地匹配到“apple”，这取决于匹配顺序。

总结

通过结合Pandas的apply方法和自定义的lambda函数，我们可以灵活地利用字典为DataFrame添加分类列，即使分类依据是文本列中的子字符串匹配。这种方法提供了一个强大且易于理解的解决方案，适用于处理各种复杂的文本分类需求。理解其背后的匹配逻辑和潜在的注意事项，将帮助您更有效地管理和分析数据。

本篇关于《Pandas添加子串分类列技巧》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！