Pandas多列条件赋值技巧

小伙伴们有没有觉得学习文章很有意思？有意思就对了！今天就给大家带来《Pandas多列条件赋值：列表推导与apply实战》，以下内容将会涉及到，若是在学习中对其中部分知识点有疑问，或许看了本文就能帮到你！

在Pandas数据处理中，根据现有列的条件生成新列是常见的需求。例如，我们可能需要根据“姓名输入1”和“姓名输入2”两列的值来决定“姓氏”列的内容。然而，在尝试使用列表推导式同时迭代多个Pandas Series时，常常会遇到语法错误。

1. 修正列表推导式中的迭代错误

原始尝试直接在列表推导式中用逗号分隔多个Series进行迭代，这会导致语法错误。Python的列表推导式在迭代多个可迭代对象时，需要使用zip()函数将它们打包成一个元组序列，然后对每个元组进行解包迭代。

错误示例（原问题中的代码）：

names_df['Surname'] = [
    'MISSING' if i != '' and j == '' else j
    for i, j in names_df['Name Entry 1'], names_df['Name Entry 2'] # 错误用法
]

上述代码的错误在于for i, j in names_df['Name Entry 1'], names_df['Name Entry 2']这一行。Python的for循环无法直接通过逗号同时迭代多个独立的序列。

正确使用 zip() 函数：

zip()函数可以将多个可迭代对象中对应位置的元素打包成一个个元组，然后返回由这些元组组成的迭代器。这是同时遍历多个序列的正确且常用方法。

import pandas as pd

# 示例数据框
data = {
    'Name Entry 1': ['John', 'Jane', '', 'Mike', 'Emily'],
    'Name Entry 2': ['Doe', 'Smith', 'Johnson', '', 'Brown']
}
names_df = pd.DataFrame(data)

# 使用zip函数修正列表推导式
names_df['Surname'] = [
    'MISSING' if i != '' and j == '' else j
    for i, j in zip(names_df['Name Entry 1'], names_df['Name Entry 2'])
]

print("使用列表推导式（zip）后的数据框：")
print(names_df)

优点：

• 对于简单的条件逻辑，代码非常简洁且易于理解。
• 通常比使用apply函数在性能上更优，因为它在Python级别进行迭代和操作，避免了Pandas内部的一些开销。

局限性：

• 当条件逻辑变得复杂，涉及多个elif分支时，列表推导式会变得冗长且难以阅读。嵌套的三元表达式会显著降低代码可读性。

2. 使用 apply() 结合自定义函数处理复杂逻辑

当需要处理多层if/elif/else条件时，将所有逻辑塞进一个列表推导式中会变得非常笨拙。此时，Pandas的apply()方法结合自定义函数是更推荐的选择。通过定义一个清晰的函数来封装复杂的业务逻辑，可以大大提高代码的可读性和可维护性。

实现方式：

1. 定义一个自定义函数： 该函数通常接受一行数据（作为Pandas Series对象）作为输入。
2. 在函数内部实现条件逻辑： 根据行的不同列值进行判断，并返回期望的结果。
3. 使用 df.apply() 调用函数： 将自定义函数应用于数据框的每一行（通过设置axis=1）。

import pandas as pd

# 示例数据框（与上文相同）
data = {
    'Name Entry 1': ['John', 'Jane', '', 'Mike', 'Emily'],
    'Name Entry 2': ['Doe', 'Smith', 'Johnson', '', 'Brown']
}
names_df = pd.DataFrame(data)

# 定义一个处理姓氏逻辑的函数
def determine_surname(row):
    """
    根据'Name Entry 1'和'Name Entry 2'的值决定'Surname'。
    """
    if row['Name Entry 1'] != '' and row['Name Entry 2'] == '':
        return 'MISSING'
    # 可以添加更多elif条件来处理更复杂的逻辑
    # elif row['Name Entry 1'] == '' and row['Name Entry 2'] != '':
    #     return 'UNKNOWN'
    else:
        return row['Name Entry 2']

# 使用apply方法将函数应用到每一行
names_df['Surname'] = names_df.apply(determine_surname, axis=1)

print("\n使用apply函数后的数据框：")
print(names_df)

优点：

• 代码可读性强： 复杂的逻辑被封装在独立的函数中，易于理解和调试。
• 易于扩展： 可以轻松添加更多的elif条件来处理更复杂的业务规则，而不会使代码变得混乱。
• 模块化： 自定义函数可以被复用，提高代码的模块化程度。

注意事项：

• 性能考量： apply()方法本质上是在Python层面进行迭代，对于非常大的数据集，其性能可能不如向量化操作（如Pandas内置的np.where、mask等）高效。然而，对于无法完全向量化的复杂逻辑，apply()通常是可读性和灵活性之间的最佳平衡点。

总结与选择建议

在Pandas中基于多列条件创建新列时，选择合适的方法至关重要：

• 对于简单、直接的条件判断（例如，只有一两个if/else分支）： 优先考虑使用列表推导式结合zip()。它通常更简洁，且在性能上表现良好。
• 对于复杂、多分支的条件逻辑（涉及多个elif）： 强烈推荐使用apply()方法结合自定义函数。这种方式能显著提高代码的可读性、可维护性和可扩展性，即使在处理少量数据时可能略有性能牺牲，但其带来的清晰度优势往往更大。

最终，选择哪种方法取决于你的具体需求：是追求极致的简洁和性能（简单情况），还是更注重代码的可读性、可维护性和对复杂逻辑的良好支持（复杂情况）。

终于介绍完啦！小伙伴们，这篇关于《Pandas多列条件赋值技巧》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布文章相关知识，快来关注吧！