Pandas多条件生成新列技巧

还在为Pandas数据框中根据多列条件生成新列而苦恼吗？本文深入解析了两种高效实用的方法，助你轻松应对复杂的数据处理需求。首先，我们纠正了列表推导式中多列迭代的常见错误，并强调了`zip`函数在“打包”多个Series时的关键作用。其次，详细讲解了如何利用`df.apply()`结合自定义函数处理更复杂的条件逻辑，显著提升代码的可读性和可维护性。无论你是数据分析师还是Python开发者，掌握这些技巧都能显著提高你的工作效率。本文旨在帮助读者根据实际业务场景，选择最佳策略，高效完成数据处理任务，让你的数据分析更上一层楼！

在数据分析和处理中，我们经常需要根据数据框中多个现有列的值来创建或更新一个新的列。这种操作通常涉及复杂的条件判断。本文将详细介绍两种主要方法：使用列表推导式结合zip函数，以及利用df.apply()方法配合自定义函数，并探讨它们的适用场景。

常见误区：列表推导式中的多列迭代

在使用列表推导式根据多列条件创建新列时，一个常见的语法错误是尝试直接将多个Pandas Series用逗号分隔进行迭代。例如，以下代码尝试根据Name Entry 1和Name Entry 2两列的值来生成Surname列：

import pandas as pd

# 示例数据框
data = {
    'Name Entry 1': ['John', 'Jane', '', 'Mike', 'Emily'],
    'Name Entry 2': ['Doe', '', 'Smith', 'Johnson', 'Davis']
}
names_df = pd.DataFrame(data)

# 错误的列表推导式示例
# names_df['Surname'] = [
#     'MISSING' if i != '' and j == '' else j
#     for i, j in names_df['Name Entry 1'], names_df['Name Entry 2']
# ]
# 上述代码会导致语法错误（SyntaxError）

这种写法是错误的，因为Python的列表推导式在for循环部分不能直接通过逗号同时迭代多个独立的迭代器。要实现同时迭代多个Series，我们需要将它们“打包”在一起。

方法一：使用zip函数优化列表推导式

zip函数是解决上述问题的关键。它能够将多个可迭代对象中对应位置的元素打包成一个个元组，然后返回由这些元组组成的一个迭代器。这样，我们就可以在列表推导式中对这些元组进行解包迭代。

示例代码：

import pandas as pd

# 示例数据框
data = {
    'Name Entry 1': ['John', 'Jane', '', 'Mike', 'Emily'],
    'Name Entry 2': ['Doe', '', 'Smith', 'Johnson', 'Davis']
}
names_df = pd.DataFrame(data)

# 使用zip函数修正列表推导式
names_df['Surname'] = [
    'MISSING' if i != '' and j == '' else j
    for i, j in zip(names_df['Name Entry 1'], names_df['Name Entry 2'])
]

print("使用zip的列表推导式结果:")
print(names_df)

优点：

• 简洁高效： 对于简单的条件逻辑，列表推导式结合zip非常简洁，代码量少。
• 性能较好： 相对于apply方法（尤其是在Python循环中），列表推导式通常具有更好的性能，因为它在C语言级别进行了优化。

注意事项：

• 可读性限制： 当条件逻辑变得非常复杂，包含多个elif分支时，列表推导式的可读性会迅速下降，变得难以理解和维护。

方法二：利用df.apply()处理复杂条件

当需要基于多列数据执行复杂的、多分支的条件逻辑时，将这些逻辑封装在一个自定义函数中，然后结合df.apply()方法（并设置axis=1）是更推荐的做法。axis=1表示函数将作用于数据框的每一行，并将整行作为输入。

示例代码：

import pandas as pd

# 示例数据框
data = {
    'Name Entry 1': ['John', 'Jane', '', 'Mike', 'Emily'],
    'Name Entry 2': ['Doe', '', 'Smith', 'Johnson', 'Davis']
}
names_df_apply = pd.DataFrame(data)

# 定义一个自定义函数来处理复杂的条件逻辑
def determine_surname(row):
    """
    根据Name Entry 1和Name Entry 2的值确定Surname。
    可在此处添加更多elif条件。
    """
    if row['Name Entry 1'] != '' and row['Name Entry 2'] == '':
        return 'MISSING'
    # 示例：添加更多条件，例如，如果Name Entry 1和Name Entry 2都为空，则返回'UNKNOWN'
    elif row['Name Entry 1'] == '' and row['Name Entry 2'] == '':
        return 'UNKNOWN'
    # 默认情况
    else:
        return row['Name Entry 2']

# 使用apply方法将函数应用于每一行
names_df_apply['Surname'] = names_df_apply.apply(determine_surname, axis=1)

print("\n使用apply方法的自定义函数结果:")
print(names_df_apply)

优点：

• 极佳的可读性： 将复杂的业务逻辑封装在独立的函数中，使得代码结构清晰，易于理解和调试。
• 高度可维护性： 方便添加、修改或删除条件分支，无需改动列表推导式的整体结构。
• 适用性广： 适用于任何复杂的行级操作，不仅仅是简单的条件赋值。

注意事项：

• 性能考量： df.apply()（特别是当axis=1时）在处理非常大的数据集时，性能通常不如向量化操作（如Pandas内置函数）或纯Python的列表推导式（如果可以完全避免Pandas Series的索引访问）。这是因为它在内部会遍历每一行，相当于一个Python级别的循环。然而，对于大多数中小型数据集或当逻辑复杂度要求牺牲一定性能时，apply是首选。

总结与建议

在Pandas中基于多列条件创建新列时，选择合适的方法至关重要：

1. 对于简单的条件逻辑（一两个if/else分支）：

   • 推荐使用列表推导式结合zip函数。它简洁、高效，代码量少。

2. 对于复杂的、多分支的条件逻辑（多个elif）：

   • 强烈推荐使用df.apply()方法配合自定义函数。它能显著提高代码的可读性、可维护性和扩展性，即使在性能上可能略有牺牲，但对于业务逻辑的清晰表达是值得的。

在实际应用中，应根据具体的业务需求、逻辑复杂度和数据集大小来权衡选择最适合的方法。始终优先考虑代码的清晰度和可维护性，特别是在团队协作或长期项目中。

好了，本文到此结束，带大家了解了《Pandas多条件生成新列技巧》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多文章知识！