Pandas多工作表数据整合教程

还在为批量整合Excel数据发愁？本教程专为数据分析师和Python爱好者打造，手把手教你如何利用Pandas库高效提取并整合多个Excel文件中指定工作表的数据。文章详细讲解了如何遍历目录、识别Excel文件，并通过`pd.ExcelFile`对象精准加载所需工作表，避免常见的`AttributeError`错误。针对“多个Excel文件包含同名工作表”的常见问题，我们提供两种解决方案：独立存储或纵向合并，满足不同数据整合需求。掌握这些技巧，让你的数据处理效率倍增，轻松应对复杂的数据分析任务！

1. 引言与背景

在数据分析和处理的日常工作中，我们经常会遇到需要从多个Excel文件中提取特定数据的情况。这些Excel文件可能包含多个工作表，而我们只对其中某些特定名称的工作表感兴趣。本教程旨在提供一个清晰、专业的指南，利用Python的Pandas库来自动化这一过程，将所需数据整合到一个方便操作的字典结构中。

2. 核心工具介绍

本教程主要依赖于以下两个Python库：

• os 模块：用于操作系统相关的交互，例如遍历文件目录和构建文件路径。
• pandas 库：强大的数据处理库，尤其适用于表格数据。我们将使用其ExcelFile对象来读取Excel文件及其包含的工作表，并使用parse()方法将工作表数据加载为DataFrame。

3. 解决 AttributeError: 'str' object has no attribute 'sheet_names'

在处理Excel文件时，一个常见的错误是尝试在文件路径字符串上调用sheet_names属性。例如，path.sheet_names()会导致AttributeError。这是因为sheet_names是pandas.ExcelFile对象的方法，而不是一个普通的字符串。

错误原因分析： 当你通过os.path.join(root, fname)获取到的是一个字符串，代表Excel文件的完整路径。要访问工作表名称，你需要先使用pd.ExcelFile()将这个路径字符串封装成一个ExcelFile对象。

正确做法：

import pandas as pd
# file_path 是一个字符串，例如 'data/my_excel.xlsx'
xls_file = pd.ExcelFile(file_path) # 创建一个ExcelFile对象
for sheet_name in xls_file.sheet_names: # 现在可以正确访问sheet_names属性
    print(sheet_name)

4. 整合多个Excel文件中的特定工作表数据

以下是实现这一目标的代码示例，它将遍历指定目录下的所有Excel文件，提取名为“Portfolios”或“SP Search Term Req”的工作表数据，并将每个工作表的数据存储为一个Pandas DataFrame，最终将这些DataFrame收集到一个字典中。

import os
import pandas as pd

# 1. 定义Excel文件所在的根目录
# 请将 'your/excel/files/path' 替换为实际的目录路径
excel_root_path = 'your/excel/files/path'

# 2. 初始化一个字典，用于存储提取出的DataFrame
# 字典的键将是工作表名称，值将是对应工作表的DataFrame
df_dict_flex = {}

# 3. 遍历指定目录及其子目录下的所有文件
for root, _, files in os.walk(excel_root_path):
    for fname in files:
        # 4. 构造文件的完整路径
        file_path = os.path.join(root, fname)

        # 5. 确保只处理Excel文件（.xlsx 或 .xls 扩展名）
        if file_path.endswith(('.xlsx', '.xls')):
            try:
                # 6. 使用pd.ExcelFile加载Excel文件，获得ExcelFile对象
                xls_file = pd.ExcelFile(file_path)
                print(f"正在处理文件: {file_path}")

                # 7. 遍历当前Excel文件中的所有工作表
                for sheet_name in xls_file.sheet_names:
                    print(f"  发现工作表: {sheet_name}")

                    # 8. 检查工作表名称是否符合我们的条件
                    # 这里我们筛选 'Portfolios' 和 'SP Search Term Req' 两个工作表
                    if sheet_name == 'Portfolios' or sheet_name == 'SP Search Term Req':
                        # 9. 解析指定工作表的数据为DataFrame
                        df = xls_file.parse(sheet_name)

                        # 10. 将DataFrame存储到字典中
                        # 注意：如果多个文件包含同名工作表，后处理的文件会覆盖前一个文件的数据
                        # 如果需要合并同名工作表的数据，请参考下一节的“进一步合并同名工作表”
                        df_dict_flex[sheet_name] = df
                        print(f"    已将工作表 '{sheet_name}' 的数据加载到字典中。")

            except Exception as e:
                print(f"处理文件 '{file_path}' 时发生错误: {e}")
                continue # 继续处理下一个文件

# 11. 打印最终的字典内容（可选，用于验证）
# print("\n最终整合的DataFrame字典:")
# for sheet_name, df in df_dict_flex.items():
#     print(f"  工作表 '{sheet_name}' 包含 {len(df)} 行数据。")
#     print(df.head()) # 打印前几行数据进行预览

5. 注意事项与最佳实践

1. 路径设置：务必将excel_root_path变量替换为你的Excel文件实际所在的目录路径。
2. 文件类型过滤：代码中通过file_path.endswith(('.xlsx', '.xls'))确保只处理Excel文件，避免尝试用Pandas打开非Excel文件导致错误。
3. 错误处理：使用try-except块捕获文件加载或解析过程中可能出现的错误，增强代码的健壮性。
4. df_dict_flex 的行为：当前代码逻辑是，如果多个Excel文件包含名称相同的工作表（例如，多个文件都有“Portfolios”工作表），那么df_dict_flex[sheet_name] = df会覆盖之前存储的数据，最终字典中只会保留最后一个被处理的同名工作表的数据。
5. 内存管理：如果处理大量大型Excel文件，内存消耗可能会很高。考虑逐个处理文件并及时释放不再需要的DataFrame，或者使用chunksize参数分块读取。

6. 进一步合并同名工作表数据

如果你的目标是，对于所有Excel文件中名称相同的工作表，将其数据合并（例如，纵向拼接）成一个单一的DataFrame，那么上述代码需要进行修改。

以下是实现这一目标的扩展代码示例：

import os
import pandas as pd

excel_root_path = 'your/excel/files/path' # 替换为你的路径
merged_df_by_sheet = {} # 存储最终合并的DataFrame，键为工作表名

for root, _, files in os.walk(excel_root_path):
    for fname in files:
        file_path = os.path.join(root, fname)
        if file_path.endswith(('.xlsx', '.xls')):
            try:
                xls_file = pd.ExcelFile(file_path)
                print(f"正在处理文件: {file_path}")

                for sheet_name in xls_file.sheet_names:
                    if sheet_name == 'Portfolios' or sheet_name == 'SP Search Term Req':
                        df = xls_file.parse(sheet_name)

                        # 如果该工作表名已存在于字典中，则进行纵向拼接
                        if sheet_name in merged_df_by_sheet:
                            merged_df_by_sheet[sheet_name] = pd.concat(
                                [merged_df_by_sheet[sheet_name], df], 
                                ignore_index=True # 重新生成索引
                            )
                            print(f"    已将工作表 '{sheet_name}' 的数据与现有数据合并。")
                        else:
                            # 否则，首次添加该工作表的数据
                            merged_df_by_sheet[sheet_name] = df
                            print(f"    已将工作表 '{sheet_name}' 的数据添加到字典。")

            except Exception as e:
                print(f"处理文件 '{file_path}' 时发生错误: {e}")
                continue

# 打印最终合并的DataFrame（可选）
# for sheet_name, df in merged_df_by_sheet.items():
#     print(f"\n合并后的工作表 '{sheet_name}' 包含 {len(df)} 行数据。")
#     print(df.head())

通过这种方式，merged_df_by_sheet字典将为每个符合条件的工作表名称存储一个包含所有相关Excel文件数据的合并DataFrame。

7. 总结

本教程详细讲解了如何利用Python和Pandas库来批量处理多个Excel文件，并从中提取特定工作表的数据。我们不仅解决了常见的AttributeError，还提供了两种数据存储策略：一种是将每个符合条件的工作表数据独立存储，另一种是将所有文件中同名工作表的数据进行纵向合并。掌握这些技术将大大提高你在数据整合方面的效率和灵活性。请根据你的具体需求选择合适的代码实现。

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~