登录
首页 >  文章 >  python教程

Pandas读取CSV文件全攻略

时间：2025-10-10 23:05:43 288浏览 收藏

小伙伴们有没有觉得学习文章很有意思？有意思就对了！今天就给大家带来《Pandas读取CSV文件方法详解》，以下内容将会涉及到，若是在学习中对其中部分知识点有疑问，或许看了本文就能帮到你！

Pandas的pd.read_csv()函数是处理CSV文件的核心工具，支持灵活参数应对复杂数据场景。首先，可通过sep指定分隔符（如分号或制表符），names和header参数自定义列名或跳过标题行，index_col设置索引列提升数据访问效率。其次，encoding参数解决中文乱码等编码问题，常见编码包括'utf-8'、'gbk'，可结合chardet库自动检测。再者，skiprows和nrows用于跳过元数据或读取部分数据，usecols精准加载所需列，chunksize实现分块读取以降低内存占用，尤其适用于大型文件。此外，na_values识别多种缺失值形式，dtype显式定义数据类型以优化内存使用，parse_dates解析日期列。综合运用这些参数，能高效、准确地完成数据读取与预处理，为后续分析奠定基础。

python中如何用pandas读取CSV文件_Pandas读取CSV文件操作指南

Pandas库在Python中提供了一个极其强大且灵活的pd.read_csv()函数，它是处理表格数据，特别是CSV文件的核心工具。无论是简单的逗号分隔文件，还是带有复杂编码、缺失值或不规范格式的数据集，这个函数都能高效应对，是数据分析工作流中不可或缺的起点。

解决方案

读取CSV文件在Pandas中通常是数据分析的第一步，pd.read_csv()函数是完成这项任务的主力。最基本的用法非常直接，你只需要提供文件的路径：

import pandas as pd

# 假设你的CSV文件名为 'data.csv' 并且在当前工作目录下
df = pd.read_csv('data.csv')
print(df.head())

但真实世界的数据往往不会这么“听话”。read_csv()的强大之处在于它提供了大量的参数来应对各种复杂情况。

处理分隔符 (Separator): 如果你的CSV文件不是逗号分隔，而是分号、制表符或其他字符，你需要用到sep参数：

# 例如，文件是分号分隔的
df_semicolon = pd.read_csv('data_semicolon.csv', sep=';')

# 例如，文件是制表符分隔的 (TSV文件)
df_tsv = pd.read_csv('data.tsv', sep='\t')

指定列名 (Header and Names): 默认情况下，Pandas会把CSV文件的第一行当作列名。如果你的文件没有标题行，或者你想自定义列名，可以这样做：

# 文件没有标题行，Pandas会生成默认的0, 1, 2...列名
df_no_header = pd.read_csv('data_no_header.csv', header=None)

# 给没有标题行的文件指定自定义列名
column_names = ['id', 'name', 'value']
df_custom_names = pd.read_csv('data_no_header.csv', header=None, names=column_names)

# 如果标题行不在第一行，比如在第三行 (索引为2)
df_header_at_row3 = pd.read_csv('data_with_meta.csv', header=2)

设置索引列 (Index Column): 你可能希望某一列作为DataFrame的行索引，而不是默认的0到N的整数索引。index_col参数就派上用场了：

# 将 'id' 列设为索引
df_indexed = pd.read_csv('data.csv', index_col='id')

# 如果你想用第一列 (索引为0) 作为索引
df_indexed_by_first_col = pd.read_csv('data.csv', index_col=0)

处理编码 (Encoding): 这是个老生常谈的问题，特别是处理中文数据时。encoding参数至关重要，常见的有'utf-8'、'gbk'、'latin-1'等：

# 尝试使用UTF-8编码
try:
    df_utf8 = pd.read_csv('chinese_data.csv', encoding='utf-8')
except UnicodeDecodeError:
    print("UTF-8编码失败，尝试GBK...")
    # 如果UTF-8不行，往往GBK能解决中文乱码问题
    df_gbk = pd.read_csv('chinese_data.csv', encoding='gbk')
    print("成功使用GBK编码读取。")

跳过行与读取特定行数 (Skip Rows and N Rows): 有时候文件开头有无关的元数据，或者你只想读取文件的一部分进行快速预览：

# 跳过文件开头的前5行
df_skipped = pd.read_csv('data_with_meta.csv', skiprows=5)

# 只读取文件的前100行
df_preview = pd.read_csv('large_data.csv', nrows=100)

处理缺失值 (Missing Values): CSV文件中的缺失值可能以各种形式出现，比如'N/A'、'?'、空字符串甚至特定的数字。na_values参数允许你指定这些值：

# 将 'N/A' 和 '?' 识别为缺失值 (NaN)
df_na = pd.read_csv('data_with_na.csv', na_values=['N/A', '?'])

# 也可以指定特定列的缺失值
df_na_col_specific = pd.read_csv('data_with_na.csv', na_values={'value_col': ['None', -999]})

优化数据类型 (Data Types): 在读取大型文件时，明确指定列的数据类型（dtype）可以显著减少内存使用和提高处理速度。Pandas会尝试推断数据类型，但有时并不理想：

# 明确指定 'id' 为整数，'value' 为浮点数
df_typed = pd.read_csv('data.csv', dtype={'id': int, 'value': float, 'category': 'category'})

通过灵活运用这些参数，你几乎可以读取任何格式的CSV文件，并为后续的数据分析工作打下坚实的基础。

处理大型CSV文件时，Pandas有哪些高效读取策略？

在处理动辄GB级别的大型CSV文件时，直接一次性加载到内存中往往会导致内存溢出，让你的机器卡顿甚至崩溃。我个人就遇到过好几次因为不注意这一点，导致脚本跑着跑着就OOM（Out Of Memory）了的尴尬情况。幸好，Pandas提供了几种非常实用的策略来高效处理这些“巨无霸”文件。

1. 分块读取 (Chunking)——内存友好的分批处理

这是处理大文件最常用的方法。pd.read_csv()允许你通过chunksize参数将文件分成小块（chunks）逐批读取和处理。这样，内存中只保留当前处理的数据块，大大降低了内存压力。

# 每次读取100,000行
chunk_size = 100000
chunks = pd.read_csv('large_data.csv', chunksize=chunk_size)

# 遍历每个数据块进行处理，例如，计算每个块的平均值
total_sum = 0
total_count = 0
for i, chunk in enumerate(chunks):
    print(f"处理第 {i+1} 个数据块，包含 {len(chunk)} 行...")
    # 假设我们想计算某一列 'value' 的总和
    total_sum += chunk['value'].sum()
    total_count += len(chunk)

average_value = total_sum / total_count if total_count > 0 else 0
print(f"所有数据的平均值是: {average_value}")

# 如果需要将所有块合并成一个DataFrame（慎用，仅在内存允许时）
# all_data = pd.concat(chunks)

这种方法非常适合进行聚合操作（如求和、计数、平均值）或筛选特定行，因为你不需要把整个文件都加载进来。

2. 仅读取所需列 (usecols)——精准加载，减少冗余

很多时候，一个大型CSV文件可能包含几十甚至上百列，但你实际分析时只需要其中的几列。通过usecols参数，你可以指定只读取你需要的列，这能显著减少内存占用。

# 假设我们只需要 'timestamp', 'user_id', 'action' 这三列
columns_to_load = ['timestamp', 'user_id', 'action']
df_partial = pd.read_csv('large_log_data.csv', usecols=columns_to_load)
print(df_partial.info()) # 查看内存使用情况，会发现比加载全部列小很多

这就像去超市购物，只拿你需要的商品，而不是把整个货架都搬回家。

3. 优化数据类型 (dtype)——精打细算，节省空间

Pandas在读取数据时会尝试推断每一列的最佳数据类型。但有时推断并不完美，比如一个只有0和1的列被推断为int64（占用8字节），但实际上bool或int8（占用1字节）就足够了。提前指定更紧凑的数据类型，可以大大减少内存消耗。

# 假设我们知道 'id' 不会超过2^15，'category' 是有限的几个值
optimized_dtypes = {
    'id': 'int16',
    'timestamp': 'datetime64[ns]', # 直接解析为日期时间类型
    'value': 'float32',
    'category': 'category' # 将字符串列转换为分类类型，尤其适合重复值多的列
}
df_optimized = pd.read_csv('large_data.csv', dtype=optimized_dtypes, parse_dates=['timestamp'])
print(df_optimized.info())

特别是对于字符串列，如果它们是有限的几个类别，转换为'category'类型能带来巨大的内存节省。datetime64[ns]则能直接将日期字符串解析为日期时间对象，避免后续转换。

这些策略并非相互独立，你可以将它们结合起来使用，比如在分块读取的同时，也只加载必要的列并优化其数据类型，以达到最佳的性能和内存效率。

读取CSV时常见的编码问题及解决方案是什么？

编码问题，说实话，这地方挺让人头疼的。我敢打赌，几乎所有数据分析师都至少被UnicodeDecodeError这个错误折磨过几次。它就像一个幽灵，悄无声息地潜伏在你的CSV文件里，直到你尝试用错误的方式打开它时才跳出来。

常见的编码错误现象：

最典型的就是UnicodeDecodeError: 'utf-8' codec can't decode byte 0x?? in position ??: invalid start byte。这意味着Pandas默认尝试用utf-8编码去解析你的文件，但文件内容并非utf-8编码。此外，你可能会看到读取后出现乱码，比如中文变成了���或\xe4\xbd\xa0\xe5\xa5\xbd这样的形式。

为什么会出现编码问题？

简单来说，不同的操作系统、不同的软件在保存文本文件时，可能会使用不同的字符编码方式。比如，Windows系统下默认保存的TXT文件可能是gbk（简体中文）或cp1252（西欧语言），而Linux或Mac系统以及Web应用中则更倾向于使用utf-8。当读取方使用的编码与文件实际编码不符时，就会出现问题。

解决方案：指定正确的encoding参数

解决编码问题的核心就是告诉pd.read_csv()文件实际是用什么编码保存的。

  1. 尝试常见的编码类型： 通常，我会按照一个优先级顺序去尝试：

    • 'utf-8'：这是最推荐和最通用的编码，几乎所有现代系统和应用都支持。
    • 'gbk' 或 'gb2312'：处理中文Windows系统下生成的CSV文件时，这是首选。
    • 'latin-1' 或 'iso-8859-1'：处理一些西欧语言文件时可能会用到。
    • 'cp1252'：这也是Windows系统下常见的编码，尤其是在英文或部分欧洲地区。
    try:
    df = pd.read_csv('my_data.csv', encoding='utf-8')
    print("成功使用UTF-8编码读取。")
except UnicodeDecodeError:
    print("UTF-8编码失败，尝试GBK...")
    try:
        df = pd.read_csv('my_data.csv', encoding='gbk')
        print("成功使用GBK编码读取。")
    except UnicodeDecodeError:
        print("GBK编码也失败了，尝试Latin-1...")
        try:
            df = pd.read_csv('my_data.csv', encoding='latin-1')
            print("成功使用Latin-1编码读取。")
        except UnicodeDecodeError:
            print("所有尝试都失败了，请检查文件编码。")

  2. 使用chardet库检测文件编码： 当手动尝试失败时，或者你不想每次都去猜，可以借助第三方库chardet来自动检测文件编码。这虽然不是Pandas内置功能，但在实际工作中非常有用。

    # 需要先安装：pip install chardet
import chardet

def detect_encoding(file_path, num_bytes=10000):
    with open(file_path, 'rb') as f:
        raw_data = f.read(num_bytes) # 读取文件开头一部分进行检测
    result = chardet.detect(raw_data)
    return result['encoding']

file_path = 'unknown_encoding_data.csv'
detected_enc = detect_encoding(file_path)
print(f"检测到文件编码为: {detected_enc}")

if detected_enc:
    try:
        df = pd.read_csv(file_path, encoding=detected_enc)
        print("成功使用检测到的编码读取。")
    except Exception as e:
        print(f"使用检测到的编码 '{detected_enc}' 仍然出错: {e}")
        # 有时检测结果不完全准确，可能需要进一步手动调整
else:
    print("未能检测到文件编码，请手动指定。")

    chardet并不是100%准确，特别是对于非常小的文件或混合编码的文件，但它提供了一个很好的起点。

  3. 在文本编辑器中查看/转换编码： 如果编程方式实在搞不定，最直接的方法是使用高级文本编辑器（如VS Code, Sublime Text, Notepad++）打开CSV文件。这些编辑器通常能自动识别编码，或者允许你手动选择编码打开，并在必要时将其另存为UTF-8格式。这是我个人在遇到顽固编码问题时，常常会采取的“兜底”方案。

如何处理CSV文件中的缺失值和不规范数据？

数据清洗是数据分析中最耗时也最关键的环节之一。CSV文件，尤其是那些来自不同源头、手工编辑或系统导出的文件，很少是“干净”的。缺失值和不规范数据是家常便饭，如果处理不当，会严重影响分析结果的准确性。

1. 识别并处理缺失值 (Missing Values)

缺失值在CSV中可能表现为多种形式：空单元格、特定的字符串（如"N/A", "NA", "-", "?", "NULL"）、甚至是某些看起来像有效数据但实际上代表缺失的数字（如-9999）。

  • na_values 参数： 在pd.read_csv()阶段就告诉Pandas哪些值应该被识别为NaN（Not a Number，Pandas表示缺失值的标准方式）。

    # 假设文件中 'value' 列的缺失值用 '-999' 表示，'name' 列的缺失值用 '?' 表示
df_with_custom_na = pd.read_csv('data_dirty.csv',
                                na_values={
                                    'value': ['-999', 'None'],
                                    'name': ['?', 'N/A']
                                })
print("读取后识别的缺失值：")
print(df_with_custom_na.isnull().sum())

    Pandas默认会识别一些常见的缺失值表示（如空字符串、#N/A, NULL, NaN等），但自定义的na_values提供了更强大的控制。

  • 读取后的处理： 即使na_values处理了一部分，数据中可能仍有未被识别的缺失值，或者你需要对已识别的NaN进行进一步操作。

    • 检查缺失值：

      print("\n各列缺失值数量：")
print(df_with_custom_na.isnull().sum())
print("\n有缺失值的行：")
print(df_with_custom_na[df_with_custom_na.isnull().any(axis=1)])

    • 删除缺失值： 如果缺失值数量不多，且删除不会丢失过多重要信息，可以直接删除包含NaN的行或列。

      # 删除任何包含NaN的行
df_cleaned_rows = df_with_custom_na.dropna()
# 删除所有列都为NaN的行
df_cleaned_all_na_rows = df_with_custom_na.dropna(how='all')
# 删除任何包含NaN的列
df_cleaned_cols = df_with_custom_na.dropna(axis=1)

    • 填充缺失值： 更常见的情况是填充缺失值，而不是简单删除。填充策略包括用均值、中位数、众数填充，或者用前一个/后一个有效值填充。

      # 用列的平均值填充 'value' 列的NaN
df_filled_mean = df_with_custom_na.copy()
df_filled_mean['value'].fillna(df_filled_mean['value'].mean(), inplace=True)

# 用固定值 '未知' 填充 'name' 列的NaN
df_filled_fixed = df_with_custom_na.copy()
df_filled_fixed['name'].fillna('未知', inplace=True)

# 用前一个有效值填充 (forward fill)
df_filled_ffill = df_with_custom_na.copy()
df_filled_ffill.fillna(method='ffill', inplace=True)

2. 处理不规范数据

不规范数据可能包括：数据类型不匹配、格式不一致、异常值等。

  • **数据类型转换错误 (Dtype

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于文章的相关知识，也可关注golang学习网公众号。

相关阅读
更多>
最新阅读
更多>
课程推荐
更多>