Pandas条件分组填充技巧分享

本文深入解析了Pandas中根据条件进行分组填充与数据广播的实用技巧，助力数据分析师高效处理复杂数据集。重点介绍了两种核心方法：一是巧妙结合`Series.map`与布尔索引，构建查找表实现快速映射；二是灵活运用`GroupBy.transform`，配合条件筛选，将特定值广播至组内所有行。通过详细的代码示例和逻辑剖析，揭示了在DataFrame中如何针对不同分组，提取符合条件的数值并填充至新列的有效途径。掌握这些Pandas技巧，能显著提升数据处理效率，解决实际数据分析场景中的常见难题，例如为每个产品类别填充特定月份的数据，实现精准的数据填充与分析。

在数据分析实践中，我们经常遇到这样的需求：需要为DataFrame中的每个分组（Group）创建一个新列，其值来源于该组内满足特定条件的某个原始列的值。例如，在一个包含多个组（如产品类别A、B）和多个月份（Month）的数据集中，我们可能希望为每个组的所有行都填充该组在“月份2”时的“值”（Value）。

以下是一个示例数据集：

import pandas as pd

data = pd.DataFrame({
    'Group': ['A', 'A', 'A', 'A', 'B', 'B'],
    'Month': [1, 2, 3, 4, 1, 2],
    'Value': [100, 300, 700, 750, 200, 400]
})

print("原始数据：")
print(data)

我们的目标是创建一个名为Desired_Result的新列，其中组'A'的所有行都填充300（'A'组在Month 2时的Value），组'B'的所有行都填充400（'B'组在Month 2时的Value）。

方法一：利用 Series.map 结合布尔索引

这种方法的核心思想是：首先筛选出满足条件的行（例如，Month == 2），然后从这些筛选出的数据中创建一个查找表（Series），最后使用map方法将这个查找表应用到原始DataFrame的分组列上。

1. 创建查找Series： 我们首先筛选出Month列等于2的所有行。从这些行中，我们选择Value列作为值，并设置Group列作为索引。这样就创建了一个以Group为键，以Month == 2时的Value为值的Series。

   # 筛选出 Month 为 2 的行，并以 Group 作为索引，Value 作为值
   s = data[data['Month'].eq(2)].set_index('Group')['Value']
   print("\n查找 Series (s)：")
   print(s)
   # 预期输出：
   # Group
   # A    300
   # B    400
   # Name: Value, dtype: int64

2. 应用 map 方法： 接下来，我们将这个查找Series s 应用到原始DataFrame的Group列上。map方法会根据Group列中的每个值，在s中查找对应的值，并将其填充到新列Desired_Result中。

   data['Desired_Result'] = data['Group'].map(s)
   
   print("\n使用 Series.map 的结果：")
   print(data)

   优点： 这种方法直观且高效，特别适用于需要基于特定键进行一对一或多对一查找的场景。它清晰地分离了查找表的创建和应用过程。

方法二：使用 GroupBy.transform 配合条件筛选

GroupBy.transform是一个强大的工具，它可以在每个分组内执行操作，并将结果广播回原始DataFrame的形状。为了实现条件值填充，我们可以结合Series.where和transform('first')。

1. 条件性地设置值： 首先，我们使用Series.where()方法。where()方法会根据指定的条件保留原始值，不满足条件的则替换为NaN（Not a Number）。在这里，我们只保留Month等于2的Value，其余都变为NaN。

   # 只有当 Month 为 2 时保留 Value，否则为 NaN
   s_conditional = data['Value'].where(data['Month'].eq(2))
   print("\n条件筛选后的 Series (s_conditional)：")
   print(s_conditional)
   # 预期输出：
   # 0      NaN
   # 1    300.0
   # 2      NaN
   # 3      NaN
   # 4      NaN
   # 5    400.0
   # Name: Value, dtype: float64

2. 应用 groupby().transform('first')： 然后，我们将这个包含NaN值的Series s_conditional 按Group列进行分组，并应用transform('first')。transform('first')会在每个分组内查找第一个非NaN的值，并将其广播到该分组的所有行。由于我们之前已经将非Month == 2的值设为NaN，因此每个分组的第一个非NaN值就是其Month == 2时的Value。

   data['Desired_Result_Transform'] = s_conditional.groupby(data['Group']).transform('first')
   
   print("\n使用 GroupBy.transform 的结果：")
   print(data)

   注意事项：

   • 使用transform('first')时，如果某个分组中没有满足条件（即所有值都为NaN），那么该分组的结果也将是NaN。
   • 这种方法可能会改变数据类型（例如，整数列可能变为浮点数，因为NaN是浮点类型）。

总结与选择

两种方法都能有效地实现基于条件的分组值填充：

• Series.map 结合布尔索引：

  • 优点： 逻辑清晰，将查找表的创建与应用分离，易于理解和调试。当查找逻辑相对简单，且可以预先构建查找表时，此方法非常高效。
  • 适用场景： 需要根据一个或几个特定条件从每个分组中精确提取一个值并进行广播。

• GroupBy.transform 配合条件筛选：

  • 优点： 更具通用性，transform本身就是为分组后的广播操作设计的。在某些复杂的聚合或转换逻辑中，它可能提供更简洁的语法。
  • 适用场景： 当条件筛选后的值需要进一步进行分组内的某种聚合（如first、last、sum等）并广播时。需要注意NaN值的处理。

在选择具体方法时，可以根据代码的可读性、性能需求以及具体业务逻辑的复杂性进行权衡。对于本例中的简单需求，Series.map通常是更直接和易于理解的选择。然而，transform的灵活性使其在处理更复杂的组内广播逻辑时显得更为强大。掌握这两种技巧，将有助于您更高效、更灵活地进行Pandas数据操作。

理论要掌握，实操不能落！以上关于《Pandas条件分组填充技巧分享》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！