Pandas提取数字分组聚合教程

文章小白一枚，正在不断学习积累知识，现将学习到的知识记录一下，也是将我的所得分享给大家！而今天这篇文章《Pandas提取字符串数字并分组聚合教程》带大家来了解一下##content_title##，希望对大家的知识积累有所帮助，从而弥补自己的不足，助力实战开发！

在数据分析实践中，我们经常会遇到Pandas数据帧中的某一列包含混合了文本和数字的数据，且格式不统一。例如，一个“销售额”列可能包含“1 table”、“3chairs”、“8 cushions”等多种表达方式。直接对这样的列进行数值计算（如求和）是不可行的。本教程旨在解决这一常见问题，展示如何从这些复杂字符串中准确提取数字，并根据其他列进行分组聚合。

准备数据

首先，我们创建一个示例Pandas DataFrame来模拟上述场景：

import pandas as pd
import io

data = """Category    Sales       Paid
Table       1 table     Yes
Chair       3chairs     Yes
Cushion     8 cushions  Yes
Table       3Tables     Yes
Chair       12 Chairs   No
Mats        12Mats      Yes
"""
df = pd.read_csv(io.StringIO(data), sep='\s+')
print("原始数据帧:")
print(df)

输出的原始数据帧如下：

原始数据帧:
  Category       Sales Paid
0    Table     1 table  Yes
1    Chair     3chairs  Yes
2  Cushion  8 cushions  Yes
3    Table     3Tables  Yes
4    Chair    12 Chairs   No
5     Mats       12Mats  Yes

可以看到，Sales列中的数字和文本混杂，且格式不一致。我们的目标是从Sales列中提取纯数字，然后按Category列进行分组求和。

核心方法：使用 str.extract 提取数字

Pandas Series对象提供了一系列强大的字符串方法，其中str.extract()是处理复杂字符串提取的利器。它结合正则表达式，能够从字符串中捕获特定模式的子串。

要从Sales列中提取开头的数字，我们可以使用正则表达式^(\d+)：

• ^：匹配字符串的开头。
• \d+：匹配一个或多个数字（0-9）。
• ()：创建一个捕获组，str.extract将返回这个捕获组的内容。

str.extract(pattern, expand=False) 会将匹配到的内容作为Series返回，如果设置为expand=True（默认值），则会返回一个DataFrame。在这里，我们只需要一个Series，所以使用expand=False。

# 提取Sales列中的数字
extracted_numbers = df['Sales'].str.extract('^(\d+)', expand=False)
print("\n提取出的数字（字符串形式）:")
print(extracted_numbers)

输出结果：

提取出的数字（字符串形式）:
0     1
1     3
2     8
3     3
4    12
5    12
Name: Sales, dtype: object

此时，提取出的数字仍然是字符串类型（dtype: object）。为了进行数值计算，我们需要将其转换为整数类型。

# 将提取出的数字转换为整数
sales_numbers = extracted_numbers.astype(int)
print("\n转换为整数类型后的销售数字:")
print(sales_numbers)

输出结果：

转换为整数类型后的销售数字:
0     1
1     3
2     8
3     3
4    12
5    12
Name: Sales, dtype: int64

分组聚合：计算每个类别的总销售额

有了纯数字的销售额Series，我们现在可以结合Category列进行分组求和了。

# 按Category分组并求和所有销售额
total_sales_per_category = sales_numbers.groupby(df['Category']).sum()
print("\n每个类别的总销售额:")
print(total_sales_per_category)

输出结果：

每个类别的总销售额:
Category
Chair      15
Cushion     8
Mats       12
Table       4
Name: Sales, dtype: int64

这里，Chair的总销售额是 3 + 12 = 15，Table的总销售额是 1 + 3 = 4，这与我们的预期相符。

进阶应用：条件性分组聚合

有时，我们可能需要根据额外的条件进行聚合。例如，只计算Paid列为Yes的销售额。

为了实现条件性聚合，我们可以在提取数字之前，先根据条件对Sales列进行预处理。对于Paid列为No的行，我们可以将Sales值替换为'0'。这样，即使这些行的原始Sales值包含数字，它们在提取和转换后也会变为0，从而不影响最终的求和结果。

# 只计算Paid为'Yes'的销售额
paid_sales_numbers = (
    df['Sales']
    .where(df['Paid'] == 'Yes', other='0') # 如果Paid不是'Yes'，则将Sales列的值替换为'0'
    .str.extract('^(\d+)', expand=False)
    .astype(int)
    .groupby(df['Category'])
    .sum()
)
print("\n每个类别的已支付销售额:")
print(paid_sales_numbers)

输出结果：

每个类别的已支付销售额:
Category
Chair       3
Cushion     8
Mats       12
Table       4
Name: Sales, dtype: int64

在这个例子中，Chair类别的总销售额从15降至3，因为其中一笔“12 Chairs”的销售其Paid状态为No，在计算时被忽略（或计为0）。

注意事项与总结

1. 正则表达式的灵活性： str.extract 的强大之处在于其与正则表达式的结合。本教程使用了简单的^(\d+)来匹配开头的数字，但如果数字出现在字符串的其他位置（例如“Item_123Count”），您需要调整正则表达式（如`(\d+)_`）。
2. 数据类型转换： str.extract 提取的结果默认是字符串类型。在进行数值计算前，务必使用astype(int)或astype(float)将其转换为合适的数值类型。
3. 处理非匹配项： 如果str.extract没有找到匹配项，它将返回NaN。在尝试astype(int)时，NaN会导致错误。在使用astype(int)之前，您可能需要使用fillna(0)或其他策略来处理这些NaN值。在条件性聚合的例子中，我们巧妙地使用了where(..., other='0')来避免NaN，确保所有值都能转换为整数。
4. expand=False 的作用： str.extract 默认返回一个DataFrame。当正则表达式中只有一个捕获组，并且我们希望结果是一个Series时，设置expand=False会更简洁方便。

通过本教程，您应该掌握了如何利用Pandas的str.extract方法结合正则表达式，从包含混合文本和数字的列中提取所需的数值信息，并进一步进行分组聚合。这些技巧对于数据清洗和预处理至关重要，能帮助您更高效地分析复杂数据集。

今天关于《Pandas提取数字分组聚合教程》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！