Python处理CSV行拆分与重复命名方法

还在为CSV文件拆分和重复命名问题烦恼吗？本文为您奉上Python实用教程，手把手教您如何利用`csv`模块将大型CSV文件按行拆分成多个独立小文件。教程不仅详细讲解了如何使用`csv.writer`正确处理字段分隔，避免数据格式错误，还深入探讨了如何借助`contextlib.ExitStack`和字典，优雅地解决重复文件名导致的数据覆盖问题，确保数据完整性和处理效率。无论您是数据处理新手还是有一定经验的开发者，都能从中获益，轻松掌握CSV行拆分与重复命名处理技巧，提升数据处理效率。

1. 任务概述与常见挑战

在数据处理场景中，我们经常需要将一个大型CSV文件拆分为多个小型、结构化的CSV文件。例如，给定一个包含“订单号”、“日期”和“文件名”的CSV文件，目标是根据“文件名”字段为每一行数据创建一个独立的CSV文件，且每个新文件只包含“订单号”和“日期”字段，不含表头。

初学者在尝试实现此功能时，常遇到的一个挑战是，直接使用文件对象的write()方法来写入字段时，如果不对字段进行明确的分隔，会导致所有字段连接成一个字符串，而不是标准的CSV格式（即逗号分隔值）。例如，将row['Order Number']和row['Date']直接写入文件，结果会是123452023-01-01，而不是12345,2023-01-01。

2. 基本解决方案：使用csv.writer正确生成独立CSV文件

Python的csv模块提供了处理CSV数据的强大功能。要正确地将字段写入CSV文件并用逗号分隔，应使用csv.writer对象及其writerow()方法。

以下是实现这一基本功能的代码示例：

import csv

# 假设输入CSV文件名为 TestExport.csv，包含 'Order Number', 'Date', 'File Name' 三列
input_csv_path = "//server2/shared/Data/TestExport.csv"

try:
    with open(input_csv_path, 'r', encoding='utf-8') as in_f:
        reader = csv.DictReader(in_f)

        for row in reader:
            # 根据 'File Name' 字段构造输出文件名
            file_name = '{0}.csv'.format(row['FileName'])

            # 使用 'w' 模式打开文件，并指定 newline=''，这是 csv.writer 的必要条件
            # 默认使用逗号作为分隔符
            with open(file_name, 'w', newline='', encoding='utf-8') as out_f:
                writer = csv.writer(out_f, delimiter=',')

                # 写入 'Order Number' 和 'Date' 字段，writerow 会自动处理分隔符和换行
                writer.writerow([row['Order Number'], row['Date']])
    print("基本文件拆分完成。")
except FileNotFoundError:
    print(f"错误：输入文件 '{input_csv_path}' 未找到。请检查文件路径。")
except Exception as e:
    print(f"处理过程中发生错误: {e}")

代码解析：

• import csv: 导入Python内置的csv模块。
• csv.DictReader(in_f): 创建一个字典读取器。它将CSV文件的每一行读取为字典，其中键是列标题（即表头）。
• file_name = '{0}.csv'.format(row['FileName']): 从当前行的'FileName'字段获取值，并格式化为新的CSV文件名。
• open(file_name, 'w', newline='', encoding='utf-8'):
  • 'w'模式表示写入（如果文件存在则覆盖）。
  • newline=''对于csv.writer至关重要，它防止在Windows系统上写入额外的空行，并确保跨平台的正确性。
  • encoding='utf-8'是处理多种字符集的好习惯，建议明确指定。
• csv.writer(out_f, delimiter=','): 创建一个CSV写入器对象。delimiter=','明确指定了字段之间的分隔符为逗号。
• writer.writerow([row['Order Number'], row['Date']]): 这是核心操作。writerow()方法接收一个列表作为参数，列表中的每个元素将作为一个字段写入CSV行，并由指定的分隔符分隔，最后自动添加换行符。

3. 高级场景：处理重复文件名和优化文件管理

上述基本解决方案在处理源CSV文件中存在多个行对应相同“文件名”的情况时，会遇到一个问题：每次遇到相同的file_name，open(file_name, 'w', ...)都会重新创建并覆盖现有文件，导致只有最后一行数据被保留。

为了解决这个问题，我们需要：

1. 维护一个已打开文件（或其对应的csv.writer）的映射，以便在遇到相同文件名时重用。
2. 确保所有打开的文件在程序结束时都能被正确关闭，即使存在多个文件句柄。

contextlib.ExitStack是一个非常有用的上下文管理器，它允许我们在一个with语句块中管理多个上下文，并在该块结束时统一清理（如关闭所有文件）。

以下是处理重复文件名并优化文件管理的解决方案：

import csv
import contextlib

input_csv_path = "//server2/shared/Data/TestExport.csv"

try:
    with open(input_csv_path, 'r', encoding='utf-8') as in_f:
        # writers 字典用于存储已创建的 csv.writer 对象，键为文件名
        writers = {}  # type: dict[str, csv.writer]

        # 使用 ExitStack 来管理多个文件句柄，确保它们在块结束时被关闭
        with contextlib.ExitStack() as stack:
            reader = csv.DictReader(in_f)
            for row in reader:
                file_name = '{0}.csv'.format(row['FileName'])

                # 尝试从 writers 字典获取当前文件名的 writer
                writer = writers.get(file_name)

                # 如果还没有为这个文件名创建 writer
                if writer is None:
                    # 使用 stack.enter_context 打开新文件
                    # 这会将文件句柄添加到 ExitStack 的管理列表中，确保其在退出时关闭
                    out_f = stack.enter_context(open(file_name, 'w', newline='', encoding='utf-8'))

                    # 创建新的 csv.writer 并存储到字典中
                    writer = csv.writer(out_f, delimiter=',')
                    writers[file_name] = writer

                    # 首次写入时，可以选择性地添加表头
                    # writer.writerow(['OrderNumber', 'Date']) # 根据需求决定是否需要表头

                # 写入数据行
                writer.writerow([row['Order Number'], row['Date']])
    print("高级文件拆分完成，已处理重复文件名。")

except FileNotFoundError:
    print(f"错误：输入文件 '{input_csv_path}' 未找到。请检查文件路径。")
except Exception as e:
    print(f"处理过程中发生错误: {e}")

代码解析：

• import contextlib: 导入contextlib模块。
• writers = {}: 创建一个空字典writers。它的键将是输出文件名，值是对应的csv.writer对象。
• with contextlib.ExitStack() as stack:: 这是一个关键部分。ExitStack允许我们动态地进入（enter_context）和退出多个上下文管理器。当with stack:块结束时，ExitStack会自动调用所有已进入上下文管理器的__exit__方法，从而关闭所有文件。
• writer = writers.get(file_name): 尝试从writers字典中获取与当前file_name关联的writer。如果不存在，writer将为None。
• if writer is None:: 如果是第一次遇到这个file_name，则：
  • out_f = stack.enter_context(open(file_name, 'w', newline='', encoding='utf-8')): 打开新的输出文件。stack.enter_context()的作用是将open()返回的文件句柄添加到ExitStack的管理中。
  • writer = csv.writer(out_f): 创建新的csv.writer。
  • writers[file_name] = writer: 将新创建的writer存储到writers字典中，以便后续重用。
  • writer.writerow(['OrderNumber', 'Date']): 这是一个可选步骤。如果需要为每个独立文件添加表头，可以在文件首次创建时写入。
• writer.writerow([row['Order Number'], row['Date']]): 无论是新创建的还是重用的writer，都用于写入当前行的数据。

4. 注意事项与最佳实践

• 文件路径: 确保输入文件路径正确无误。输出文件默认会创建在脚本运行的当前目录下，或者您可以指定一个完整的输出路径。
• 编码: 在打开文件时始终明确指定encoding，推荐使用'utf-8'，以避免字符编码问题。
• 错误处理: 使用try-except块来捕获FileNotFoundError或其他潜在的IO错误，增强程序的健壮性。
• 内存使用: 对于非常大的输入CSV文件，如果输出文件数量也非常庞大，可能会同时打开大量文件。虽然ExitStack能妥善管理关闭，但操作系统对同时打开的文件句柄数量有限制。对于极端情况，可能需要考虑更复杂的策略，例如批量处理或分批写入。
• 表头处理: 根据您的需求，决定是否在每个拆分出的CSV文件中包含表头。如果需要，请在首次写入文件时添加。

5. 总结

本教程详细介绍了如何使用Python的csv模块将一个CSV文件的行拆分为多个独立的CSV文件。我们首先学习了使用csv.writer和writerow()方法来正确处理字段分隔，避免了直接f.write()导致的格式问题。随后，我们通过引入contextlib.ExitStack和writers字典，解决了在处理重复文件名时数据被覆盖的问题，实现了更健壮和高效的文件管理。掌握这些技术将帮助您更灵活地处理和转换CSV数据。

本篇关于《Python处理CSV行拆分与重复命名方法》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！