登录
首页 >  文章 >  python教程

Pandas字符串匹配合并数据表技巧

时间:2025-08-06 11:15:30 500浏览 收藏

编程并不是一个机械性的工作,而是需要有思考,有创新的工作,语法是固定的,但解决问题的思路则是依靠人的思维,这就需要我们坚持学习和更新自己的知识。今天golang学习网就整理分享《Pandas 字符串匹配合并数据表技巧》,文章讲解的知识点主要包括,如果你对文章方面的知识点感兴趣,就不要错过golang学习网,在这可以对大家的知识积累有所帮助,助力开发能力的提升。

使用 Pandas 进行部分字符串匹配合并数据表

本文介绍如何使用 Pandas 在两个包含球员姓名的数据表中,基于部分字符串匹配进行合并。针对一个表中使用全名(例如:"Kevin Oghenetega Tamaraebi Bakumo-Abraham"),另一个表中使用简称或昵称(例如:"Tammy Abraham")的情况,提供了一种高效的解决方案,避免了完全匹配的局限性,提升了数据整合的准确性。

在数据分析中,经常会遇到需要合并来自不同来源的数据表的情况。当用于连接的关键字段(例如姓名)在不同表中格式不一致时,简单的精确匹配往往无法满足需求。例如,一个表可能包含球员的全名,而另一个表可能包含他们的简称或昵称。这时,就需要使用部分字符串匹配的方法来合并数据表。Pandas 提供了强大的字符串处理功能,可以有效地解决这类问题。

以下是一种使用 str.contains 函数进行部分字符串匹配合并数据表的方案:

1. 准备数据

首先,假设我们有两个 Pandas DataFrame:df1 和 df2。df1 包含球员的简称或昵称,存储在 'short_name' 列中;df2 包含球员的全名,存储在 'long_name' 列中。

import pandas as pd

# 示例数据
data1 = {'short_name': ['Tammy Abraham', 'Cristiano', 'Messi']}
df1 = pd.DataFrame(data1)

data2 = {'long_name': ['Kevin Oghenetega Tamaraebi Bakumo-Abraham', 'Cristiano Ronaldo', 'Lionel Messi'],
         'overall': [80, 94, 93]}
df2 = pd.DataFrame(data2)

print("DataFrame 1:\n", df1)
print("\nDataFrame 2:\n", df2)

2. 定义匹配函数

接下来,定义一个函数,该函数接受 df1 中的一个简称,并在 df2 的全名列中查找包含该简称的行。

def find_match(short_name, df2):
    """
    在 df2 中查找包含 short_name 的行。
    """
    matches = df2[df2['long_name'].str.contains(short_name, case=False)] # case=False 忽略大小写
    return matches

3. 应用匹配函数并合并

现在,将该函数应用于 df1 的 'short_name' 列,并将匹配的结果合并到 df1 中。

def merge_dataframes(df1, df2):
    """
    使用部分字符串匹配合并 df1 和 df2。
    """
    merged_data = []
    for index, row in df1.iterrows():
        short_name = row['short_name']
        matches = find_match(short_name, df2)

        if not matches.empty:
            # 假设每个 short_name 只有一个最佳匹配,取第一个匹配结果
            match = matches.iloc[0].to_dict()
            merged_row = {**row.to_dict(), **match}  # 合并两个字典
            merged_data.append(merged_row)
        else:
            # 如果没有找到匹配项,则添加带有 NaN 值的行
            merged_row = {**row.to_dict(), 'long_name': None, 'overall': None}
            merged_data.append(merged_row)

    return pd.DataFrame(merged_data)

final_df = merge_dataframes(df1, df2)
print("\nMerged DataFrame:\n", final_df)

代码解释:

  • str.contains(short_name, case=False):该函数用于检查 df2['long_name'] 中的每个字符串是否包含 short_name。 case=False 参数使匹配不区分大小写。
  • matches = df2[df2['long_name'].str.contains(short_name, case=False)]:这行代码返回一个 DataFrame,其中包含所有 long_name 列包含 short_name 的行。
  • matches.iloc[0].to_dict():如果找到匹配项,这行代码将获取第一个匹配行的所有数据,并将其转换为字典。 如果有多个匹配项,则可以根据具体情况选择最佳匹配项。
  • {**row.to_dict(), **match}:使用字典解包运算符 ** 将 df1 中的行和 df2 中的匹配行合并到一个新的字典中。
  • pd.DataFrame(merged_data):最后,将合并后的数据转换为一个新的 DataFrame。

注意事项:

  • 数据质量: 部分字符串匹配的准确性高度依赖于数据的质量。确保简称或昵称在全名中具有一定的辨识度。
  • 多个匹配项: 如果一个简称在全名列中匹配到多个结果,需要根据实际情况选择最佳匹配。可以考虑使用更复杂的匹配算法,例如模糊匹配或基于规则的匹配。
  • 性能: 对于大型数据集,使用循环可能会影响性能。可以考虑使用 Pandas 的 apply 函数或其他更高效的方法来优化代码。
  • 大小写敏感性: 默认情况下,str.contains 函数区分大小写。可以使用 case=False 参数来忽略大小写。

总结:

本文介绍了一种使用 Pandas 进行部分字符串匹配合并数据表的方法。该方法基于 str.contains 函数,可以有效地处理姓名等关键字段格式不一致的情况。在实际应用中,需要根据数据的特点和需求,选择合适的匹配策略和优化方法,以确保数据整合的准确性和效率。

终于介绍完啦!小伙伴们,这篇关于《Pandas字符串匹配合并数据表技巧》的介绍应该让你收获多多了吧!欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布文章相关知识,快来关注吧!

相关阅读
更多>
最新阅读
更多>
课程推荐
更多>