Python处理缺失值方法：pandas数据清洗技巧

本篇文章主要是结合我之前面试的各种经历和实战开发中遇到的问题解决经验整理的，希望这篇《Python处理缺失值技巧：pandas数据清洗全攻略》对你有很大帮助！欢迎收藏，分享给更多的需要的朋友学习~

处理缺失值的方法包括检查、删除、填充和标记。1. 使用isna()或isnull()检查缺失值，通过sum()统计每列缺失数量，或用any().any()判断整体是否存在缺失；2. 采用dropna()删除缺失比例高的行或列，subset参数指定检查范围，inplace=True直接修改原数据；3. 用fillna()填充缺失值，数值型可用均值、中位数，类别型用众数，时间序列可用前后值填充；4. 对于缺失本身含信息的情况，可新增列标记是否缺失，并将缺失作为特征使用，提升模型表现。

处理缺失值是数据分析中非常基础但也非常关键的一步，特别是在使用pandas进行数据清洗时。很多时候，原始数据中都会存在空值、NaN或者无效值，如果不做处理，会影响后续分析甚至导致错误结果。好在pandas提供了很多实用的方法，可以灵活应对这些情况。

1. 检查缺失值

在动手处理之前，首先要知道数据中哪些地方有缺失值。pandas提供了一个非常方便的函数：isna() 或者 isnull()，它可以标记出数据中的缺失值。

import pandas as pd

df = pd.read_csv('data.csv')
print(df.isna().sum())

这段代码会输出每一列中有多少个缺失值，帮助你快速定位问题所在。

如果你只想看看整个DataFrame有没有缺失值，可以用：

df.isna().any().any()

这样就能知道是否需要进一步处理了。

2. 删除缺失值

如果某列或某行的缺失值比例非常高，比如超过70%，通常可以选择直接删除这部分数据。pandas中使用dropna()方法来实现这个操作。

df.dropna(subset=['列名'], inplace=True)

上面这行代码的意思是，在指定列中如果有缺失值，就删除对应的整行数据。如果不指定subset参数，默认会检查所有列。

小贴士：
使用inplace=True可以直接修改原数据，而不是返回一个新对象。如果你不确定后果，建议先复制一份数据再操作。

不过要注意，这种方法虽然简单粗暴，但可能会损失大量有效信息，特别是当数据量本身就不大的时候。

3. 填充缺失值

相比直接删除，填充缺失值是一种更温和的做法，常见的方式包括用均值、中位数、众数或者前后值来填充。

• 数值型数据常用平均值或中位数：

df['列名'].fillna(df['列名'].mean(), inplace=True)

• 类别型数据更适合用众数（也就是出现次数最多的值）：

df['列名'].fillna(df['列名'].mode()[0], inplace=True)

• 如果是时间序列数据，可以用前一个或后一个非空值来填充：

df['列名'].fillna(method='ffill', inplace=True)  # 前向填充

这些方法可以根据数据类型和上下文灵活选择，有时候也可以组合使用。

4. 标记缺失值

有些时候，缺失本身也是一种信息。比如在用户填写问卷时，某些字段没填，可能意味着用户对该项不感兴趣或不了解。

这时候可以在填充的同时新增一列，用来标记该字段是否曾经缺失：

df['列名缺失'] = df['列名'].isna().astype(int)
df['列名'].fillna(0, inplace=True)

这样不仅保留了原始数据结构，还把“缺失”作为一个特征加入了模型训练中，有时反而能提升模型表现。

基本上就这些。处理缺失值看起来不复杂，但在实际项目中很容易被忽略细节，比如填充方式不合适、误删重要数据等。只要根据具体场景灵活选用合适的方法，就可以避免这些问题。

今天关于《Python处理缺失值方法：pandas数据清洗技巧》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！