Pandas字符串匹配合并数据表技巧
时间:2025-08-06 11:15:30 500浏览 收藏
编程并不是一个机械性的工作,而是需要有思考,有创新的工作,语法是固定的,但解决问题的思路则是依靠人的思维,这就需要我们坚持学习和更新自己的知识。今天golang学习网就整理分享《Pandas 字符串匹配合并数据表技巧》,文章讲解的知识点主要包括,如果你对文章方面的知识点感兴趣,就不要错过golang学习网,在这可以对大家的知识积累有所帮助,助力开发能力的提升。
本文介绍如何使用 Pandas 在两个包含球员姓名的数据表中,基于部分字符串匹配进行合并。针对一个表中使用全名(例如:"Kevin Oghenetega Tamaraebi Bakumo-Abraham"),另一个表中使用简称或昵称(例如:"Tammy Abraham")的情况,提供了一种高效的解决方案,避免了完全匹配的局限性,提升了数据整合的准确性。
在数据分析中,经常会遇到需要合并来自不同来源的数据表的情况。当用于连接的关键字段(例如姓名)在不同表中格式不一致时,简单的精确匹配往往无法满足需求。例如,一个表可能包含球员的全名,而另一个表可能包含他们的简称或昵称。这时,就需要使用部分字符串匹配的方法来合并数据表。Pandas 提供了强大的字符串处理功能,可以有效地解决这类问题。
以下是一种使用 str.contains 函数进行部分字符串匹配合并数据表的方案:
1. 准备数据
首先,假设我们有两个 Pandas DataFrame:df1 和 df2。df1 包含球员的简称或昵称,存储在 'short_name' 列中;df2 包含球员的全名,存储在 'long_name' 列中。
import pandas as pd # 示例数据 data1 = {'short_name': ['Tammy Abraham', 'Cristiano', 'Messi']} df1 = pd.DataFrame(data1) data2 = {'long_name': ['Kevin Oghenetega Tamaraebi Bakumo-Abraham', 'Cristiano Ronaldo', 'Lionel Messi'], 'overall': [80, 94, 93]} df2 = pd.DataFrame(data2) print("DataFrame 1:\n", df1) print("\nDataFrame 2:\n", df2)
2. 定义匹配函数
接下来,定义一个函数,该函数接受 df1 中的一个简称,并在 df2 的全名列中查找包含该简称的行。
def find_match(short_name, df2): """ 在 df2 中查找包含 short_name 的行。 """ matches = df2[df2['long_name'].str.contains(short_name, case=False)] # case=False 忽略大小写 return matches
3. 应用匹配函数并合并
现在,将该函数应用于 df1 的 'short_name' 列,并将匹配的结果合并到 df1 中。
def merge_dataframes(df1, df2): """ 使用部分字符串匹配合并 df1 和 df2。 """ merged_data = [] for index, row in df1.iterrows(): short_name = row['short_name'] matches = find_match(short_name, df2) if not matches.empty: # 假设每个 short_name 只有一个最佳匹配,取第一个匹配结果 match = matches.iloc[0].to_dict() merged_row = {**row.to_dict(), **match} # 合并两个字典 merged_data.append(merged_row) else: # 如果没有找到匹配项,则添加带有 NaN 值的行 merged_row = {**row.to_dict(), 'long_name': None, 'overall': None} merged_data.append(merged_row) return pd.DataFrame(merged_data) final_df = merge_dataframes(df1, df2) print("\nMerged DataFrame:\n", final_df)
代码解释:
- str.contains(short_name, case=False):该函数用于检查 df2['long_name'] 中的每个字符串是否包含 short_name。 case=False 参数使匹配不区分大小写。
- matches = df2[df2['long_name'].str.contains(short_name, case=False)]:这行代码返回一个 DataFrame,其中包含所有 long_name 列包含 short_name 的行。
- matches.iloc[0].to_dict():如果找到匹配项,这行代码将获取第一个匹配行的所有数据,并将其转换为字典。 如果有多个匹配项,则可以根据具体情况选择最佳匹配项。
- {**row.to_dict(), **match}:使用字典解包运算符 ** 将 df1 中的行和 df2 中的匹配行合并到一个新的字典中。
- pd.DataFrame(merged_data):最后,将合并后的数据转换为一个新的 DataFrame。
注意事项:
- 数据质量: 部分字符串匹配的准确性高度依赖于数据的质量。确保简称或昵称在全名中具有一定的辨识度。
- 多个匹配项: 如果一个简称在全名列中匹配到多个结果,需要根据实际情况选择最佳匹配。可以考虑使用更复杂的匹配算法,例如模糊匹配或基于规则的匹配。
- 性能: 对于大型数据集,使用循环可能会影响性能。可以考虑使用 Pandas 的 apply 函数或其他更高效的方法来优化代码。
- 大小写敏感性: 默认情况下,str.contains 函数区分大小写。可以使用 case=False 参数来忽略大小写。
总结:
本文介绍了一种使用 Pandas 进行部分字符串匹配合并数据表的方法。该方法基于 str.contains 函数,可以有效地处理姓名等关键字段格式不一致的情况。在实际应用中,需要根据数据的特点和需求,选择合适的匹配策略和优化方法,以确保数据整合的准确性和效率。
终于介绍完啦!小伙伴们,这篇关于《Pandas字符串匹配合并数据表技巧》的介绍应该让你收获多多了吧!欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布文章相关知识,快来关注吧!
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
280 收藏
-
240 收藏
-
235 收藏
-
380 收藏
-
349 收藏
-
366 收藏
-
262 收藏
-
297 收藏
-
343 收藏
-
423 收藏
-
367 收藏
-
195 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 511次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 498次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 484次学习