Pandas分组滚动计算方法详解

学习知识要善于思考，思考，再思考！今天golang学习网小编就给大家带来《Pandas分组滚动计算问题解决》，以下内容主要包含等知识点，如果你正在学习或准备学习文章，就都不要错过本文啦~让我们一起来看看吧，能帮助到你就更好了！

本文旨在解决在 Pandas 中使用 groupby() 和 rolling().mean() 进行分组滚动平均计算时遇到的 TypeError: incompatible index 错误和结果错位问题。通过深入分析 groupby().rolling() 操作产生的多级索引，并引入 droplevel() 方法来调整索引，确保计算结果能正确地与原始 DataFrame 对齐，从而实现精确的分组滚动统计。

1. 引言：分组滚动统计的需求

在数据分析中，我们经常需要在不同的数据组内计算滚动（或移动）平均值、总和等统计量。例如，在一个包含多个类别的数据集中，我们可能需要分别计算每个类别的销售额的3天滚动平均值。Pandas 提供了强大的 groupby() 和 rolling() 方法来支持这类操作，但其组合使用时，如果不注意索引的处理，可能会遇到一些常见的陷阱。

2. 问题描述：索引不兼容与结果错位

考虑以下示例 DataFrame，我们希望根据 'a' 和 'b' 列进行分组，然后计算 'c' 列的3个元素的滚动平均值。

import pandas as pd
import numpy as np

df = pd.DataFrame({
    'a': np.random.choice(['x', 'y'], 8),
    'b': np.random.choice(['r', 's'], 8),
    'c': np.arange(1, 8 + 1)
})

print("原始 DataFrame:")
print(df)

一个直观但错误的尝试是直接将 groupby().rolling().mean() 的结果赋值给 DataFrame 的新列：

# 错误的尝试
# df['ROLLING_MEAN'] = df.groupby(['a', 'b'])['c'].rolling(3).mean()

执行上述代码会抛出 TypeError: incompatible index of inserted column with frame index 错误。这个错误明确指出，尝试插入的 Series 的索引与 DataFrame 的索引不兼容。

为了规避这个错误，有人可能会尝试在链式调用中添加 .values：

# 另一个错误的尝试：使用 .values
df['ROLLING_MEAN_WRONG'] = df.groupby(['a', 'b'])['c'].rolling(3).mean().values

print("\n使用 .values 后的 DataFrame (结果错误):")
print(df)

# 检查特定分组的结果
print("\n特定分组 (a='x', b='r') 的结果 (仍然错误):")
print(df[
    (df['a'] == 'x') &
    (df['b'] == 'r')
])

虽然 .values 避免了 TypeError，但它会产生错误的结果。例如，对于 (a='x', b='r') 这个分组，可能会看到如下输出（具体数值可能因随机数据而异）：

   a  b  c  ROLLING_MEAN_WRONG
0  x  r  1                 NaN
2  x  r  3            2.666667
3  x  r  4            4.000000
4  x  r  5            5.666667
7  x  r  8                 NaN

这里的问题在于，滚动平均值 5.666 出现在 'c' 列值仅为 1, 3, 4, 5, 8 的分组中，这显然是不正确的。5.666 意味着 (X + Y + Z) / 3，而在这个分组中，还没有出现足够大的数值来产生这样的滚动平均。这种错误是由于 .values 方法在将 Series 转换为 NumPy 数组时，丢失了原有的索引信息，导致数据在赋值时进行了错误的按位置对齐。

3. 根本原因：多级索引不匹配

为了理解为什么会发生这种情况，我们首先来看一下 df.groupby(['a', 'b'])['c'].rolling(3).mean() 的原始输出：

# 查看分组滚动平均的原始输出
grouped_rolling_output = df.groupby(['a', 'b'])['c'].rolling(3).mean()
print("\n分组滚动平均的原始输出 (多级索引):")
print(grouped_rolling_output)

输出示例：

a  b   
x  r  3         NaN
      4         NaN
      6    5.333333
   s  1         NaN
y  r  2         NaN
      5         NaN
   s  0         NaN
      7         NaN
Name: c, dtype: float64

可以看到，这个 Series 拥有一个多级索引（MultiIndex），其中包含了分组键 'a' 和 'b'，以及原始 DataFrame 的索引。当尝试将其直接赋值给 df['ROLLING_MEAN'] 时，Pandas 发现这个多级索引与 df 的单一整数索引不兼容，因此抛出 TypeError。

而 .values 方法则粗暴地将这个多级索引的 Series 转换为一个纯粹的 NumPy 数组，丢弃了所有索引信息。当这个数组被赋值回 DataFrame 时，Pandas 只能进行按位置（positional）对齐。由于 rolling() 操作会在每个分组的开头产生 NaN 值，这些 NaN 值在 .values 转换后会被放置在数组的开头，从而导致与原始 DataFrame 的行错位，使得滚动平均值被错误地分配到不属于它的行。

4. 解决方案：使用 droplevel() 调整索引

解决这个问题的关键在于，在将分组滚动计算的结果赋值回原始 DataFrame 之前，将其索引调整为与原始 DataFrame 的索引一致。pandas.Series.droplevel() 方法正是为此而生，它可以移除 Series 或 DataFrame 索引中的一个或多个级别。

我们需要移除由 groupby() 操作引入的 'a' 和 'b' 这两个索引级别，只保留原始 DataFrame 的行索引。

# 正确的解决方案
df['ROLLING_MEAN_CORRECT'] = df.groupby(['a', 'b'])['c'] \
                                .rolling(3).mean() \
                                .droplevel(['a', 'b'])

print("\n使用 droplevel() 后的 DataFrame (结果正确):")
print(df)

# 检查特定分组的正确结果
print("\n特定分组 (a='x', b='r') 的正确结果:")
print(df[
    (df['a'] == 'x') &
    (df['b'] == 'r')
])

代码解析：

1. df.groupby(['a', 'b'])['c']: 按照 'a' 和 'b' 列进行分组，并选择 'c' 列进行操作。
2. .rolling(3).mean(): 在每个分组内部，计算 'c' 列的3个元素的滚动平均值。这会产生一个带有 'a', 'b' 和原始索引的多级索引 Series。
3. .droplevel(['a', 'b']): 这一步是关键。它移除了多级索引中的 'a' 和 'b' 这两个级别，只留下原始 DataFrame 的行索引。这样，生成的 Series 的索引就与原始 DataFrame 的索引兼容了。
4. df['ROLLING_MEAN_CORRECT'] = ...: 将索引调整后的 Series 正确地赋值给 DataFrame 的新列。Pandas 会根据匹配的索引进行智能对齐。

预期输出示例： （请注意，由于数据是随机生成的，以下输出仅为示例，实际运行时请根据您的随机数据进行验证）

   a  b  c  ROLLING_MEAN_CORRECT
0  y  s  1                   NaN
1  y  r  2                   NaN
2  y  s  3                   NaN
3  y  r  4                   NaN
4  y  s  5              3.000000  # (1+2+5)/3 或 (3+4+5)/3 等，取决于具体分组数据
5  x  r  6                   NaN
6  y  r  7              4.333333  # (2+5+7)/3 或 (4+5+7)/3 等
7  x  r  8                   NaN

现在，如果检查特定分组 (a='x', b='r') 的结果，会发现滚动平均值被正确地计算并对齐到相应的行。例如，如果 (a='x', b='r') 组的数据是 c=[1, 3, 4, 5, 8]，那么：

• 第一个和第二个元素（1, 3）的滚动平均为 NaN。
• 第三个元素（4）的滚动平均是 (1+3+4)/3 = 2.666...
• 第四个元素（5）的滚动平均是 (3+4+5)/3 = 4.0
• 第五个元素（8）的滚动平均是 (4+5+8)/3 = 5.666... 这些值会准确地出现在原始 DataFrame 中对应行的 ROLLING_MEAN_CORRECT 列中。

5. 注意事项与总结

• 索引对齐的重要性： 在 Pandas 中，当您尝试将一个 Series 或 DataFrame 赋值给另一个 DataFrame 的新列时，Pandas 会尝试通过索引进行对齐。如果索引不匹配，就会导致 TypeError 或数据错位。
• droplevel() 的应用场景： droplevel() 方法不仅适用于 groupby().rolling() 后的场景，任何时候您需要从多级索引中移除一个或多个级别以进行索引对齐时，它都是一个非常有用的工具。
• .values 的风险： 除非您明确知道自己在做什么，并且不关心索引信息，否则应谨慎使用 .values 将 Series 转换为 NumPy 数组。它会丢弃索引，可能导致数据在赋值时错位。
• 性能考量： 对于非常大的数据集，链式操作可能会创建中间 Series。在大多数情况下，Pandas 会进行优化，但如果遇到性能瓶颈，可以考虑分步执行或使用 apply() 结合自定义函数（通常效率较低，除非操作复杂）。

通过理解 groupby().rolling() 操作如何产生多级索引，并掌握使用 droplevel() 进行索引调整的技巧，您可以有效地在 Pandas 中执行复杂的分组滚动统计，确保数据的准确性和代码的健壮性。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Pandas分组滚动计算方法详解》文章吧，也可关注golang学习网公众号了解相关技术文章。