Pandas合并教程：部分匹配详解

欢迎各位小伙伴来到golang学习网，相聚于此都是缘哈哈哈！今天我给大家带来《部分匹配Pandas合并教程详解》，这篇文章主要讲到等等知识，如果你对文章相关的知识非常感兴趣或者正在自学，都可以关注我，我会持续更新相关文章！当然，有什么建议也欢迎在评论留言提出！一起学习！

本文旨在介绍如何使用 Pandas 库，基于一个 DataFrame 列中的部分文本匹配另一个 DataFrame 的列，从而实现高效的数据合并。通过提取关键信息并进行连接，最终得到包含完整信息的目标 DataFrame。本文将提供详细的代码示例和步骤说明，帮助读者掌握这种常用的数据处理技巧。

在数据分析和处理中，经常会遇到需要将两个 DataFrame 基于某些关联字段进行合并的情况。但有时，关联字段并非完全一致，而是存在部分匹配的关系。例如，一个 DataFrame 的某一列包含完整的 ID 信息，而另一个 DataFrame 的某一列只包含 ID 的一部分，这时就需要采用一些技巧来实现数据的合并。

以下将通过一个具体的例子，演示如何使用 Pandas 库来实现这种基于部分匹配的 DataFrame 合并。

示例数据

假设我们有两个 DataFrame，df1 和 df2。

df1 包含主机名（Hostname）、区域（Region）和型号（Model）信息：

import pandas as pd

data1 = {'Hostname': ['ServerABC101', 'ServerABC102', 'ServerDDC103', 'ServerDDC609', 'ServerDDC103', 'ServerDDC609'],
         'Region': ['US', 'US', 'PAC', 'Emea', 'PAC', 'Emea'],
         'Model': ['Cisco', 'Cisco', 'Intel', 'Intel', 'Intel', 'Intel']}
df1 = pd.DataFrame(data1)
print("DataFrame df1:\n", df1)

df2 包含站点（Site）、城市（City）和州（State）信息：

data2 = {'Site': ['ABC', 'DDC'],
         'City': ['NYC', 'DAL'],
         'State': ['NY', 'TX']}
df2 = pd.DataFrame(data2)
print("\nDataFrame df2:\n", df2)

我们的目标是将 df1 和 df2 基于 df1['Hostname'] 中的部分文本（站点代码）与 df2['Site'] 进行匹配，最终得到一个包含所有信息的 DataFrame。

解决方案

1. 提取站点代码：

   首先，我们需要从 df1['Hostname'] 中提取出站点代码。假设站点代码是由 "Server" 后面的三个大写字母组成，我们可以使用正则表达式来实现：

   df1['Site'] = df1['Hostname'].str.extract(r"Server([A-Z]{3})")
   print("\nDataFrame df1 with extracted Site:\n", df1)

   str.extract(r"Server([A-Z]{3})") 的作用是：

   • str.extract(): 用于从字符串列中提取匹配正则表达式的部分。
   • r"Server([A-Z]{3})": 这是一个正则表达式，用于匹配以 "Server" 开头，后跟三个大写字母的字符串。括号 () 用于捕获这三个大写字母，也就是我们需要的站点代码。

2. 合并 DataFrame：

   现在，我们已经提取出了 df1 中的站点代码，可以基于 Site 列将 df1 和 df2 进行合并。使用 pd.merge() 函数，并将 how 参数设置为 'left'，以保留 df1 中的所有行：

   df1 = pd.merge(df1, df2, on='Site', how='left')
   print("\nFinal Merged DataFrame:\n", df1)

   pd.merge(df1, df2, on='Site', how='left') 的作用是：

   • pd.merge(): 用于合并两个 DataFrame。
   • on='Site': 指定基于 Site 列进行合并。
   • how='left': 指定合并方式为左连接，即保留左侧 DataFrame (df1) 的所有行，并将右侧 DataFrame (df2) 中匹配的行添加到左侧 DataFrame。如果右侧 DataFrame 中没有匹配的行，则添加的列将填充为 NaN。

完整代码

import pandas as pd

# 创建 DataFrame df1
data1 = {'Hostname': ['ServerABC101', 'ServerABC102', 'ServerDDC103', 'ServerDDC609', 'ServerDDC103', 'ServerDDC609'],
         'Region': ['US', 'US', 'PAC', 'Emea', 'PAC', 'Emea'],
         'Model': ['Cisco', 'Cisco', 'Intel', 'Intel', 'Intel', 'Intel']}
df1 = pd.DataFrame(data1)

# 创建 DataFrame df2
data2 = {'Site': ['ABC', 'DDC'],
         'City': ['NYC', 'DAL'],
         'State': ['NY', 'TX']}
df2 = pd.DataFrame(data2)

# 提取站点代码
df1['Site'] = df1['Hostname'].str.extract(r"Server([A-Z]{3})")

# 合并 DataFrame
df1 = pd.merge(df1, df2, on='Site', how='left')

# 打印结果
print(df1)

注意事项

• 正则表达式： 正则表达式的编写需要根据实际情况进行调整。如果站点代码的规则不同，需要修改正则表达式以正确提取。
• 合并方式： how 参数可以设置为 'left'、'right'、'inner' 或 'outer'，根据实际需求选择合适的合并方式。
• 缺失值处理： 如果 df2 中没有与 df1 匹配的站点代码，合并后的 DataFrame 中相应的列将填充为 NaN。可以根据实际情况选择合适的缺失值处理方法，例如使用 fillna() 函数填充缺失值。

总结

本文介绍了如何使用 Pandas 库，基于部分匹配的文本数据合并 DataFrame。通过提取关键信息和灵活运用 pd.merge() 函数，可以高效地完成数据的整合。这种方法在实际数据处理中非常实用，可以解决许多复杂的数据合并问题。掌握这些技巧，能够显著提升数据分析的效率。

本篇关于《Pandas合并教程：部分匹配详解》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！