Pandas多列转结构：DataFrame合并方法

本文详细介绍了如何使用Pandas将多个DataFrame的列数据整合到统一结构中，解决数据分析中常见的异构数据合并问题。通过实例演示了如何利用`pd.concat`、列重命名和数据类型转换等技巧，将包含不同信息源的DataFrame进行有效合并。文章强调了数据预处理的重要性，包括使用`.copy()`避免修改原始数据，以及处理合并后可能出现的NaN值。掌握这些Pandas DataFrame合并技巧，能够显著提升数据处理效率，为后续的数据分析和报告提供坚实基础。

本教程详细阐述了如何利用Pandas库将多个DataFrame中的特定列映射到统一的结构中，并通过转换和合并操作，实现将源DataFrame中的不同信息整合到目标DataFrame的现有列中。文章通过具体示例，展示了如何动态重命名、转换列数据类型，并最终使用`pd.concat`高效地整合数据，以满足特定的数据分析和报告需求。

在数据处理和分析中，我们经常会遇到需要将来自不同来源或具有不同结构的数据集合并到一起的情况。有时，这些数据源中的信息虽然存储在不同的列中，但其语义上却对应着目标数据集中的同一列。本教程将指导您如何使用Pandas库，有效地将一个DataFrame中的多列信息转换并映射到另一个DataFrame的统一列中，最终实现数据的整合。

场景分析与目标

假设我们有两个DataFrame，df1包含基本的用户信息，如姓名、年龄和性别。df2则在df1的基础上额外提供了用户的昵称（nick_name）信息，并且我们希望将这些昵称也整合到最终结果的“姓名”列中，同时对性别信息进行简化，并与df1的数据合并。

初始DataFrame示例：

df1 (第一个DataFrame):

import pandas as pd

data1 = {
    'name': ['smith row', 'sam smith', 'susan storm'],
    'age': [26, 30, 25],
    'sex': ['male', 'male', 'female']
}
df1 = pd.DataFrame(data1)
print("df1:")
print(df1)

输出:

         name  age     sex
0   smith row   26    male
1   sam smith   30    male
2  susan storm  25  female

df2 (第二个DataFrame):

data2 = {
    'name': ['smith row', 'sam smith', 'susan storm'],
    'age': [26, 30, 25],
    'sex': ['male', 'male', 'female'],
    'nick_name': ['smity', 'sammy', 'suanny']
}
df2 = pd.DataFrame(data2)
print("\ndf2:")
print(df2)

输出:

         name  age     sex nick_name
0   smith row   26    male     smity
1   sam smith   30    male     sammy
2  susan storm  25  female    suanny

我们的目标是生成一个包含df1所有行，以及df2中nick_name和简化后的sex信息的新DataFrame，结构如下：

         name   age    sex
0   smith row    26   male
1   sam smith    30   male
2  susan storm   25 female
3        smity  NaN      m
4        sammy  NaN      m
5       suanny  NaN      f

实现步骤

要达到上述目标，我们需要对df2进行一系列的转换操作，使其列结构与df1保持一致，然后再进行合并。

1. 准备第二个DataFrame (df2)

首先，我们需要修改df2，使其包含我们想要映射到最终结果的列，并移除不再需要的列。

a. 映射昵称到姓名列： 将df2中的nick_name列的值赋给name列。这样，df2的name列就包含了昵称信息，为后续合并做准备。

df2_modified = df2.copy() # 创建副本以避免修改原始df2
df2_modified['name'] = df2_modified['nick_name']

b. 简化性别信息： 将df2中的sex列的值简化为首字母（例如，'male'变为'm'，'female'变为'f'）。这可以通过字符串切片操作实现。

df2_modified['sex'] = df2_modified['sex'].str[0]

c. 移除多余列： 为了确保df2_modified的列结构与df1兼容，我们需要删除df2_modified中不希望出现在最终合并结果中的列，例如age和nick_name。

df2_modified = df2_modified.drop(columns=['age', 'nick_name'])

经过这些步骤，df2_modified现在看起来是这样的：

       name sex
0     smity   m
1     sammy   m
2    suanny   f

请注意，此时df2_modified不再包含age列。

2. 合并DataFrame

现在df1和df2_modified具有相似的列结构（name和sex），我们可以使用pd.concat()函数将它们垂直合并。

df_final = pd.concat([df1, df2_modified], ignore_index=True)

• [df1, df2_modified]：这是一个包含要合并的DataFrame的列表。
• ignore_index=True：这个参数非常重要，它会重置合并后DataFrame的索引，使其从0开始连续编号，避免了原始DataFrame索引的冲突和重复。

完整代码示例

将上述步骤整合到一起，形成完整的解决方案：

import pandas as pd

# 初始DataFrame
data1 = {
    'name': ['smith row', 'sam smith', 'susan storm'],
    'age': [26, 30, 25],
    'sex': ['male', 'male', 'female']
}
df1 = pd.DataFrame(data1)

data2 = {
    'name': ['smith row', 'sam smith', 'susan storm'],
    'age': [26, 30, 25],
    'sex': ['male', 'male', 'female'],
    'nick_name': ['smity', 'sammy', 'suanny']
}
df2 = pd.DataFrame(data2)

print("原始 df1:")
print(df1)
print("\n原始 df2:")
print(df2)

# --- 转换 df2 以匹配目标结构 ---
# 1. 创建 df2 的副本以避免修改原始数据
df2_transformed = df2.copy()

# 2. 将 'nick_name' 列的值赋给 'name' 列
df2_transformed['name'] = df2_transformed['nick_name']

# 3. 简化 'sex' 列为首字母
df2_transformed['sex'] = df2_transformed['sex'].str[0]

# 4. 删除不再需要的列（'age' 和 'nick_name'）
df2_transformed = df2_transformed.drop(columns=['age', 'nick_name'])

print("\n转换后的 df2_transformed:")
print(df2_transformed)

# --- 合并 DataFrame ---
# 使用 pd.concat 垂直合并 df1 和 df2_transformed
# ignore_index=True 确保新的索引是连续的
df_final = pd.concat([df1, df2_transformed], ignore_index=True)

print("\n最终合并结果 df_final:")
print(df_final)

结果分析与注意事项

最终输出的df_final将是：

         name   age     sex
0   smith row  26.0    male
1   sam smith  30.0    male
2  susan storm  25.0  female
3        smity   NaN       m
4        sammy   NaN       m
5       suanny   NaN       f

关键点说明：

1. NaN 值的出现： 在df_final中，来自df2_transformed的行在age列显示为NaN（Not a Number）。这是因为我们在合并前从df2_transformed中删除了age列。当使用pd.concat合并具有不同列集的DataFrame时，Pandas会自动填充缺失的列为NaN。
2. 数据类型推断： 由于age列现在包含整数和NaN，Pandas可能会将其数据类型自动转换为浮点数（float64），因为NaN在Pandas中通常表示为浮点类型。如果您需要整数类型，可能需要在使用fillna()处理NaN后显式转换。
3. 灵活性： 这种方法非常灵活，您可以根据需要对df2（或其他源DataFrame）进行任何复杂的转换，包括使用apply()函数进行自定义逻辑、使用map()进行值映射等，只要最终的列结构与目标DataFrame匹配，就可以顺利合并。
4. 避免修改原始DataFrame： 在示例中，我们使用了df2.copy()来创建df2_transformed。这是一个良好的实践，可以避免意外修改原始df2数据，尤其是在后续分析中还需要使用原始数据的情况下。

总结

通过本教程，您学习了如何利用Pandas的强大功能，通过列的重命名、数据转换和pd.concat操作，将不同DataFrame中的多列信息有效地映射并整合到统一的结构中。理解这些技术对于处理真实世界中复杂且多样的数据集至关重要，它使您能够灵活地重塑和合并数据，以满足特定的分析需求。在进行此类操作时，始终要注意列的匹配、数据类型的兼容性以及缺失值的处理。

今天关于《Pandas多列转结构：DataFrame合并方法》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！