Pandas多列条件处理：高效创建新列技巧

本教程深入解析了在Pandas DataFrame中，如何根据多列数据高效创建新列，并着重规避常见的语法错误。针对多列条件判断，文章首先介绍了利用`zip`函数优化列表推导式的方法，实现简洁的条件赋值，尤其适用于简单逻辑。然后，详细阐述了如何通过自定义函数结合`apply`方法，优雅地处理多层`if/elif/else`条件，显著提升代码可读性和可维护性。针对复杂逻辑，`apply`方法更具优势。掌握这两种技巧，能帮助你编写更健壮的Pandas数据处理代码，提升数据分析效率。学习Pandas多列条件处理，创建新列，就看这篇教程！

1. 基于多列条件的列创建需求

在数据处理中，我们经常需要根据DataFrame中多列的组合条件来生成一个新的列。例如，根据“名”和“姓”的存在情况来判断一个姓氏是否缺失。最初的尝试可能倾向于使用列表推导式，因为它简洁高效。然而，在处理多个序列的迭代时，常见的语法错误可能会出现。

考虑以下场景：我们有一个names_df DataFrame，包含'Name Entry 1'和'Name Entry 2'两列，我们希望根据这两列的值来生成'Surname'列。一个常见的错误尝试是直接在列表推导式中用逗号分隔多个序列：

# 假设 names_df 已经定义
# names_df = pd.DataFrame({
#     'Name Entry 1': ['John', '', 'Jane', 'Peter'],
#     'Name Entry 2': ['Doe', '', 'Smith', 'Jones']
# })

# 错误的尝试：直接使用逗号分隔多个Series
# names_df['Surname'] = [
#     'MISSING' if i != '' and j == '' else j
#     for i, j in names_df['Name Entry 1'], names_df['Name Entry 2']
# ]
# 这会导致 SyntaxError

上述代码会抛出SyntaxError，因为它试图将两个独立的Series对象（names_df['Name Entry 1']和names_df['Name Entry 2']）同时解包到i和j中，这不符合Python列表推导式的迭代语法。

2. 使用zip函数修正列表推导式

要正确地在列表推导式中同时迭代多个序列，需要使用Python内置的zip()函数。zip()函数可以将多个可迭代对象打包成一个元组的迭代器，每个元组包含来自每个可迭代对象的对应元素。

将错误的逗号替换为zip()函数，即可解决语法问题：

import pandas as pd

# 示例 DataFrame
names_df = pd.DataFrame({
    'Name Entry 1': ['John', '', 'Jane', 'Peter', 'Emily'],
    'Name Entry 2': ['Doe', '', 'Smith', 'Jones', '']
})

# 正确的列表推导式，使用 zip 函数
names_df['Surname'] = [
    'MISSING' if i != '' and j == '' else j
    for i, j in zip(names_df['Name Entry 1'], names_df['Name Entry 2'])
]

print("使用 zip 的列表推导式结果:")
print(names_df)

输出示例:

使用 zip 的列表推导式结果:
  Name Entry 1 Name Entry 2  Surname
0         John          Doe      Doe
1                       MISSING  MISSING
2         Jane        Smith    Smith
3        Peter        Jones    Jones
4        Emily                MISSING

注意事项：

• 适用场景： 列表推导式结合zip适用于条件逻辑相对简单、可以直接写在一行的场景。
• 性能： 对于大型数据集，列表推导式通常比apply方法在性能上更优，因为它在Python层面上进行迭代，避免了Pandas内部的一些开销。
• 可读性： 当条件变得复杂（例如，多个elif分支）时，列表推导式的可读性会迅速下降。

3. 使用apply方法处理复杂条件逻辑

当需要处理更复杂的、包含多个if/elif/else分支的条件逻辑时，将所有逻辑塞进一个列表推导式会变得非常难以阅读和维护。在这种情况下，Pandas的apply()方法结合自定义函数是更推荐的方案。

apply()方法可以沿着DataFrame的轴（行或列）应用一个函数。当我们需要基于一行中多个列的值来计算新列时，应将axis=1传递给apply()，表示函数将逐行应用，并且函数的输入将是该行的一个Series对象。

以下是使用apply方法处理相同逻辑的示例：

import pandas as pd

# 示例 DataFrame (与上面相同)
names_df = pd.DataFrame({
    'Name Entry 1': ['John', '', 'Jane', 'Peter', 'Emily'],
    'Name Entry 2': ['Doe', '', 'Smith', 'Jones', '']
})

def determine_surname(row):
    """
    根据 'Name Entry 1' 和 'Name Entry 2' 列的值确定 'Surname'。
    """
    if row['Name Entry 1'] != '' and row['Name Entry 2'] == '':
        return 'MISSING'
    # 可以根据需要添加更多条件，例如：
    # elif row['Name Entry 1'] == '' and row['Name Entry 2'] != '':
    #     return row['Name Entry 2'] + '_Only'
    # elif row['Name Entry 1'] != '' and row['Name Entry 2'] != '':
    #     return row['Name Entry 2']
    else:
        return row['Name Entry 2']

# 将自定义函数应用到 DataFrame 的每一行
names_df['Surname_Apply'] = names_df.apply(determine_surname, axis=1)

print("\n使用 apply 方法的结果:")
print(names_df)

输出示例:

使用 apply 方法的结果:
  Name Entry 1 Name Entry 2  Surname Surname_Apply
0         John          Doe      Doe           Doe
1                       MISSING       MISSING
2         Jane        Smith    Smith         Smith
3        Peter        Jones    Jones         Jones
4        Emily                MISSING     MISSING

apply方法的优势：

• 可读性： 将复杂的逻辑封装在一个独立的函数中，使代码结构更清晰，易于理解。
• 可维护性： 当需要修改或添加新的条件时，只需修改determine_surname函数，而无需改动主逻辑。
• 灵活性： 自定义函数内部可以执行任何Python逻辑，包括调用其他函数、进行复杂的计算等。

注意事项：

• 性能考量： 尽管apply在可读性上表现出色，但它通常比向量化操作（如Pandas内置函数或NumPy函数）和列表推导式慢，因为它在Python级别进行迭代。对于非常大的数据集，如果性能是关键因素，应优先考虑向量化解决方案（如np.where、np.select）。
• axis=1的重要性： 务必指定axis=1，否则apply会将函数应用于每一列（axis=0是默认值），这不符合我们逐行处理的需求。

总结

在Pandas中基于多列条件创建新列时，选择合适的方法至关重要：

1. 对于简单、单行的条件逻辑，使用列表推导式结合zip()函数是简洁且高效的选择。它避免了SyntaxError，并提供了良好的性能。
2. 对于复杂、多分支的条件逻辑，强烈推荐使用df.apply()方法配合自定义函数。这种方法能够显著提高代码的可读性、可维护性和模块化程度，即使可能在极端性能场景下略逊于向量化操作。

理解这两种方法的适用场景和优缺点，能够帮助开发者编写更健壮、更易于维护的Pandas数据处理代码。在实际应用中，应根据具体的需求（逻辑复杂度、数据量大小等）权衡选择最合适的实现方式。

本篇关于《Pandas多列条件处理：高效创建新列技巧》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！