Python高效读取大CSV：pandas分块处理技巧

本文深入探讨了Python中高效读取大型CSV文件的关键技巧，着重介绍了利用pandas库的`chunksize`参数进行分块处理的方法，以有效避免内存溢出问题。通过设置`chunksize`，`pd.read_csv`函数返回可迭代的`TextFileReader`对象，允许逐块读取和处理数据，显著降低内存占用。文章还提供了代码示例，演示如何在循环中对每个数据块执行过滤、聚合等操作，并累积结果。此外，还讨论了结合`dtype`和`usecols`参数进一步优化内存和速度的策略，以及将CSV转换为Parquet或Feather等高效二进制格式以提升数据处理效率的方法。掌握这些技巧，能显著提升Python在处理大数据时的效率和稳定性，为数据分析和挖掘工作提供有力支持。

使用pandas的chunksize参数分块读取大型CSV文件可避免内存溢出。1. 通过pd.read_csv设置chunksize参数，返回TextFileReader对象进行迭代处理；2. 每次迭代处理一个DataFrame块，减少内存占用；3. 可在循环内执行过滤、聚合等操作，并累积结果；4. 配合dtype和usecols进一步优化内存与速度；5. 对需多次使用的数据，可转换为Parquet或Feather等高效二进制格式。该方法有效缓解内存压力并提升大数据处理效率。

Python高效读取大型CSV文件，核心在于避免一次性加载整个文件到内存，最直接且常用的方法就是利用pandas.read_csv函数的chunksize参数进行分块处理。这样可以将一个庞大的文件拆分成若干个可管理的小块，逐一处理，极大缓解内存压力。

解决方案

当处理数GB甚至数十GB的CSV文件时，直接用pd.read_csv('your_large_file.csv')很可能会导致程序崩溃，提示内存不足。这时，chunksize参数就成了救星。它不会返回一个DataFrame，而是一个可迭代的TextFileReader对象。你可以像遍历列表一样遍历这个对象，每次迭代都会得到一个指定大小的DataFrame块。

import pandas as pd
import os

# 假设我们有一个非常大的CSV文件，比如 'big_data.csv'
# 为了演示，我们先创建一个虚拟的大文件
# 如果你已经有大文件，可以跳过这部分
file_path = 'big_data.csv'
if not os.path.exists(file_path):
    print(f"创建虚拟大文件 '{file_path}'...")
    data = {'col1': range(10_000_000), 'col2': [f'text_{i}' for i in range(10_000_000)]}
    df_temp = pd.DataFrame(data)
    df_temp.to_csv(file_path, index=False)
    print("虚拟大文件创建完成。")

# 定义一个合适的块大小，比如每次读取10万行
chunk_size = 100_000
total_rows_processed = 0
sum_of_col1 = 0

print(f"\n开始分块读取文件 '{file_path}'...")
try:
    # read_csv返回的是一个迭代器
    for i, chunk in enumerate(pd.read_csv(file_path, chunksize=chunk_size)):
        print(f"正在处理第 {i+1} 个数据块，包含 {len(chunk)} 行。")
        # 在这里对每个chunk进行操作，比如：
        # 1. 过滤数据
        # filtered_chunk = chunk[chunk['some_column'] > value]

        # 2. 聚合统计
        # daily_summary = chunk.groupby('date_column')['value_column'].sum()

        # 3. 简单的数据处理，例如累加某一列
        if 'col1' in chunk.columns: # 确保列存在
            sum_of_col1 += chunk['col1'].sum()

        total_rows_processed += len(chunk)

    print(f"\n所有数据块处理完毕。总共处理了 {total_rows_processed} 行。")
    print(f"col1 的总和为: {sum_of_col1}")

except MemoryError:
    print("即使使用chunksize，内存仍然不足。尝试减小chunk_size或优化处理逻辑。")
except Exception as e:
    print(f"读取或处理文件时发生错误: {e}")

# 清理演示文件（可选）
# os.remove(file_path)
# print(f"已删除虚拟大文件 '{file_path}'。")

上面的代码片段展示了如何使用chunksize参数来迭代处理大型CSV文件。在循环内部，你可以对每个chunk（它本身就是一个DataFrame）执行任何你需要的pandas操作，例如数据清洗、转换、聚合等。这样，内存中始终只保留当前正在处理的数据块，而不是整个文件。

为什么直接读取大文件会“爆内存”？

这其实是个很直接的问题，但很多人在实际操作中才真正体会到它的痛点。当你用pd.read_csv()去读一个几GB甚至几十GB的CSV文件时，Pandas的默认行为是尝试把整个文件的数据一次性加载到计算机的内存（RAM）中。想象一下，如果你的电脑只有8GB内存，而你试图加载一个10GB的文件，那肯定会“爆”啊！这就是所谓的“内存溢出”（MemoryError）。

这种现象的根本原因在于，Pandas为了提供高效的数据操作，会将数据组织成DataFrame结构，这需要占用连续的内存空间。而且，CSV文件中的数据类型通常是字符串，Pandas在读取时需要推断每列的数据类型。如果某些列包含混合类型数据（比如数字和文本），Pandas可能会默认使用占用内存更大的object类型（通常是字符串），这会进一步加剧内存消耗。此外，文件越大，需要存储的数据单元就越多，自然对内存的需求也就越高。所以，对于大型文件，一次性加载就如同试图将一头大象塞进一个冰箱，结果必然是冰箱“爆炸”。

chunksize参数具体怎么用，有什么注意事项？

chunksize参数是pd.read_csv方法的一个关键点，它将读取过程从“一次性”变成了“分批次”。当你设置了chunksize，read_csv返回的就不是一个DataFrame，而是一个TextFileReader对象，你可以把它想象成一个可以逐块提供DataFrame的“数据生成器”或者“迭代器”。每次你从这个迭代器中取出一个元素，它就会给你一个大小为chunksize的DataFrame。

具体用法：

就像上面代码示例那样，你把它放在一个for循环里：

for chunk in pd.read_csv('your_file.csv', chunksize=100000):
    # 在这里处理每个chunk
    process_data(chunk)

注意事项：

1. 选择合适的chunksize： 这没有一个放之四海而皆准的答案，它取决于你的系统内存大小、CSV文件的列数、数据类型以及你在每个块上执行的操作复杂度。

   • 太小： 如果chunksize设置得太小（比如100行），你会发现读取速度可能变慢。这是因为每次迭代都需要执行文件I/O操作，频繁的磁盘读写会增加开销。
   • 太大： 如果chunksize仍然太大，你可能会再次遇到内存问题。目标是找到一个平衡点，让每个chunk都能舒适地装进内存，并且处理起来效率高。一个好的起点可能是10万到100万行，然后根据实际运行情况调整。
   • 动态调整： 有时，你可能需要根据文件大小或可用内存，动态计算chunksize。例如，如果你知道文件大约有多少行，可以将其除以一个你认为合适的块数。

2. 累积结果： 由于数据是分块处理的，如果你需要对整个文件进行聚合（比如计算总和、平均值、分组统计），你需要手动在循环外部定义一个变量来累积每个块的结果。例如，上面代码中的sum_of_col1。

3. 索引问题： 默认情况下，每个chunk的DataFrame索引都会从0开始。如果你需要保留原始文件的行号或者自定义索引，可能需要额外处理。通常，这在分块处理中不是大问题，因为我们更多关注的是数据内容本身，而不是其在文件中的原始行号。

4. 最终合并（如果需要）： 多数情况下，分块处理是为了避免内存问题，所以最终结果可能也是聚合后的、较小的数据集。如果你真的需要将所有处理过的chunk合并成一个大的DataFrame（这通常意味着你一开始就不应该分块处理，除非是处理完后数据量大幅减少），你需要将每个处理过的chunk存储到一个列表中，然后在循环结束后使用pd.concat()。但这要非常小心，如果合并后的数据仍然很大，又会回到内存问题。

5. 错误处理： 在处理大型文件时，网络中断、文件损坏等都可能导致读取失败。在循环中加入try-except块是个好习惯，可以捕获并处理这些异常，提高程序的健壮性。

除了分块处理，还有哪些优化大型CSV读取的策略？

分块处理是应对内存溢出的“核武器”，但还有很多其他策略可以作为补充，或者在特定场景下提供更优的性能：

1. 明确指定数据类型（dtype）： 这是我个人觉得最被低估但效果显著的优化手段。CSV文件默认所有列都是字符串，Pandas在读取时会尝试推断最佳数据类型。但这种推断并不总是最优的，比如一个只有0和1的列可能会被推断成int64，但实际上用bool或int8就足够了，内存占用会小得多。

   # 预先定义好每列的数据类型
   dtype_mapping = {
       'column_id': 'int32',
       'timestamp': 'datetime64[ns]',
       'value': 'float32',
       'category': 'category' # 使用category类型可以大幅节省内存
   }
   df = pd.read_csv('large_file.csv', dtype=dtype_mapping)

   对于类别型数据（重复值很多但种类有限的字符串），使用'category'类型能带来巨大的内存节省。

2. 只读取需要的列（usecols）： 如果你的CSV文件有几十上百列，但你只需要其中几列进行分析，那么完全没必要加载所有列。

   df = pd.read_csv('large_file.csv', usecols=['col1', 'col5', 'col10'])

   这能显著减少内存占用和读取时间。

3. 使用C引擎（engine='c'）： Pandas的read_csv默认使用C解析引擎，它通常比Python引擎更快。但在某些特殊情况下（例如，文件包含不规则的引用或分隔符），Pandas可能会回退到Python引擎。明确指定engine='c'可以确保使用更快的解析器，尽管这通常是默认行为。

4. 低内存模式（low_memory=True）： read_csv有一个low_memory参数，默认为True。当Pandas检测到列中存在混合数据类型时，它会尝试分块读取文件以推断数据类型，然后合并这些块。这有助于减少内存使用，但有时可能会导致类型推断不准确。通常，如果你已经在使用chunksize或明确指定了dtype，这个参数的影响就小了。

5. 将CSV转换为更高效的二进制格式： 如果你需要多次读取同一个大型数据集，将CSV文件一次性转换成Parquet、Feather或HDF5等二进制格式会大大提高后续读取的速度和效率。这些格式通常具有更紧凑的存储方式、支持列式存储（只读取需要的列更快）和更快的I/O。

   # 第一次读取（可能需要分块）并保存为Parquet
   # 假设 df_processed 是你处理后的完整DataFrame
   # df_processed.to_parquet('large_file.parquet', index=False)
   
   # 后续读取就快多了
   # df_from_parquet = pd.read_parquet('large_file.parquet')

   这种方式在数据仓库和大数据处理中非常常见，因为它们是为高效数据存取而设计的。

6. 考虑Dask或Vaex等外部库： 如果你的数据量实在太大，即使分块处理也显得力不从心，或者你需要进行更复杂的、超出内存的计算，那么可以考虑使用专门为大数据集设计的库，如Dask或Vaex。它们提供了类似Pandas的API，但能够在内存之外进行计算（out-of-core computation），甚至可以利用多核CPU或分布式集群。不过，这些库的学习曲线相对陡峭一些。

综合来看，针对大型CSV文件的读取，我的建议是：先尝试用chunksize解决内存问题；同时，务必结合dtype和usecols来优化内存和速度；如果数据需要反复使用，投资将其转换为二进制格式绝对是值得的。至于Dask或Vaex，它们是当你真正进入“大数据”领域时才需要考虑的“重型武器”。

以上就是《Python高效读取大CSV：pandas分块处理技巧》的详细内容，更多关于的资料请关注golang学习网公众号！