Pandas分组排序技巧：保留内部顺序

在Pandas中进行复杂排序时，如何根据分组的聚合值排序并保持组内原始顺序？本文针对这一常见的数据分析难题，深入探讨了两种高效且优雅的解决方案。首先，我们介绍了如何巧妙结合`numpy.argsort`和`pandas.iloc`，利用`groupby().transform()`计算组级最小值，并通过稳定的`argsort`保持组内顺序，实现DataFrame的重排。其次，我们展示了`sort_values`方法的`key`参数的强大功能，通过自定义排序逻辑，同样能达到目标。这两种方法避免了创建临时列的繁琐，为Pandas数据处理提供了更简洁、高效的策略，尤其适用于数据分析和数据挖掘场景，提升数据处理效率。

引言：复杂排序场景与挑战

在数据分析中，我们经常需要对DataFrame进行排序。最常见的排序是基于一个或多个列的值，例如 df.sort_values(['col1', 'col2'])。然而，有时需求更为复杂：我们希望首先根据某个列的“组级”属性（例如，每个组中另一列的最小值）来对整个组进行排序，同时保持组内元素的原始相对顺序。

考虑以下示例DataFrame：

import pandas as pd
import numpy as np

df = pd.DataFrame({'col1': ['A', 'B', 'A', 'B', 'C'],
                   'col2': [3, 1, 2, 4, 3],
                   'col3': [10, 20, 30, 40, 50]})
print("原始DataFrame:")
print(df)

输出：

原始DataFrame:
  col1  col2  col3
0    A     3    10
1    B     1    20
2    A     2    30
3    B     4    40
4    C     3    50

我们的目标是实现以下排序：首先根据 col1 组中 col2 的最小值对组进行排序（例如，B组的col2最小值为1，A组为2，C组为3，所以排序顺序应为B组、A组、C组），然后保持组内行的原始相对顺序。期望的输出如下：

  col1  col2  col3
1    B     1    20
3    B     4    40
0    A     3    10
2    A     2    30
4    C     3    50

尝试直接使用 df.sort_values(['col1', 'col2']) 或 df.sort_values(['col2', 'col1']) 无法达到此目的，因为它们是直接对列值进行排序，而不是基于组的聚合值。一种常见的“笨拙”方法是创建临时列：

# 临时列方法
df_temp = df.copy()
df_temp['min_col2'] = df_temp.groupby('col1')['col2'].transform('min')
sorted_df_temp = df_temp.sort_values("min_col2").drop("min_col2", axis="columns")
print("\n临时列方法输出 (仅作演示):")
print(sorted_df_temp)

这种方法虽然可行，但引入了额外的列，不够简洁，且在数据处理管道中可能不够优雅。

解决方案一：结合 numpy.argsort 与 pandas.iloc

这种方法利用了 groupby().transform() 来计算每个组的聚合值，然后使用 numpy.argsort 获取排序后的索引，最后通过 pandas.iloc 对DataFrame进行重排。

核心思想：

1. 使用 df.groupby('col1')['col2'].transform('min') 为DataFrame的每一行生成一个对应的“组级最小值”值。这意味着属于同一col1组的所有行，它们对应的transform结果都是该组col2的最小值。
2. numpy.argsort() 函数返回一个数组，该数组包含将输入数组排序所需的索引。重要的是，np.argsort 是稳定的，这意味着如果两个元素的值相等，它们在排序后的数组中的相对顺序会保持不变。这正是我们保持组内原始相对顺序的关键。
3. 使用 df.iloc[] 结合 argsort 返回的索引，按照新的顺序重新选择DataFrame的行。

示例代码：

# 方法一：使用 numpy.argsort 和 iloc
out_iloc = df.iloc[np.argsort(df.groupby('col1')['col2'].transform('min'))]
print("\n方法一输出 (numpy.argsort + iloc):")
print(out_iloc)

输出：

方法一输出 (numpy.argsort + iloc):
  col1  col2  col3
1    B     1    20
3    B     4    40
0    A     3    10
2    A     2    30
4    C     3    50

这与期望的输出完全一致。此方法也适用于Pandas的数据处理管道（链式操作），通过使用 lambda 函数：

# 方法一：在管道中使用
out_pipeline = df.iloc[lambda d: np.argsort(d.groupby('col1')['col2'].transform('min'))]
print("\n方法一输出 (管道中):")
print(out_pipeline)

解决方案二：利用 sort_values 的 key 参数

Pandas的 sort_values 方法提供了一个 key 参数，允许用户在排序之前对列应用一个函数。这个函数会接收待排序的Series作为输入，并返回一个用于排序的Series。

核心思想：

1. key 参数接收一个可调用对象（通常是 lambda 函数），该对象会应用于 by 参数指定的列。
2. 在 lambda 函数内部，我们再次使用 groupby().transform() 来生成用于排序的“组级最小值”Series。

示例代码：

# 方法二：使用 sort_values 的 key 参数
out_key = df.sort_values(by='col2',
                         key=lambda s: s.groupby(df['col1']).transform('min'))
print("\n方法二输出 (sort_values + key 参数):")
print(out_key)

输出：

方法二输出 (sort_values + key 参数):
  col1  col2  col3
1    B     1    20
3    B     4    40
0    A     3    10
2    A     2    30
4    C     3    50

同样，这种方法也完美实现了期望的排序。key 参数的优点在于其表达性强，代码意图清晰。

总结与注意事项

两种方法都能够有效地解决按组聚合值排序并保持组内原始相对顺序的问题：

• numpy.argsort + iloc：

  • 优点： 明确地操作索引，在理解DataFrame底层结构时更为直观。由于np.argsort的稳定性，能很好地保持组内原始顺序。适用于复杂的数据处理管道。
  • 缺点： 代码可能看起来稍微复杂一些，需要对iloc和argsort有一定了解。

• sort_values + key 参数：

  • 优点： 代码更简洁，更符合Pandas的链式操作风格。key参数的设计就是为了处理这种自定义排序逻辑。
  • 缺点： 对于不熟悉key参数的开发者来说，可能需要一点时间理解其工作原理。

在选择方法时，可以根据个人偏好、团队代码风格以及是否需要在数据处理管道中无缝集成来决定。两种方法都是解决此类复杂排序问题的“规范”方式，远比创建临时列更优雅和高效。

需要注意的是，这两种方法都利用了 transform 操作为每行广播组级聚合值，并依赖于 argsort 或 sort_values 的稳定性来保持组内元素的原始相对顺序。如果您的需求是先按组聚合值排序，然后在每个组内部再按某个列进行二次排序（例如，按col2升序），那么您可能需要结合使用这些方法，例如先进行组排序，然后对结果再进行一次 sort_values 操作，或者更复杂地构建 key 函数。但对于本教程中提出的精确问题，上述两种方法均能完美满足要求。

本篇关于《Pandas分组排序技巧：保留内部顺序》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！