Pandas处理NaN方法：dropna与空值过滤详解

Pandas中NaN的处理远比表面复杂：dropna只识别np.nan、None和NaT为缺失值，对空字符串、字符串'NaN'或float('nan')视而不见；布尔索引虽更灵活，却需警惕NaN参与比较时恒返回False的特性及括号优先级陷阱；fillna则可能悄然改变数据类型与缺失语义，导致后续dropna失效——真正掌握NaN，关键在于理解它在不同操作中扮演的多重角色，并根据实际需求选择replace、布尔索引或谨慎fill的组合策略。

为什么 dropna(subset=[...]) 不删含 NaN 的行？

因为 dropna 默认只对 subset 列中值为 NaN、None 或 NaT 的行生效，但它**不会把空字符串 ''、字符串 'NaN'、或 Python float('nan')（非 pandas 的 NaN）当作缺失值处理**。常见错误是误以为所有“看起来空”的值都会被过滤掉。

• 检查真实类型：df['col'].apply(type).unique() 看是否混入了字符串 'NaN' 或空格字符串 ' '
• dropna 对 object 类型列只识别 None 和 np.nan，不识别 'nan'、'NULL' 等文本
• 若列里存的是字符串 'NaN'，需先用 replace({'NaN': np.nan}) 转成真正缺失值

想把 NaN 当普通值保留，但又想按其他条件过滤？

直接用布尔索引比 dropna 更可控——它不主动“解释” NaN，只是做等值/逻辑判断，NaN 参与比较时天然返回 False（如 df['x'] == 5 中，NaN 行结果就是 False），所以你得显式包含它。

• 保留 NaN 行 + 满足某条件的行：df[(df['x'] > 10) | df['x'].isna()]
• 排除某值但保留 NaN：df[~((df['status'] == 'invalid') & df['status'].notna())]（避免 df['status'] != 'invalid' 把 NaN 也干掉）
• 注意：df['x'].isin([1, 2, np.nan]) 不会匹配 NaN，必须拆成 df['x'].isin([1, 2]) | df['x'].isna()

用 fillna() 前后，dropna(subset) 行为为啥变了？

填充值会改变列的数据类型和缺失标记状态。比如 fillna('MISSING') 后，原 float64 列变成 object，且不再有 np.nan，dropna(subset=['col']) 就完全失效。

• 填入标量（如 0、''）会让该列失去 NaN，后续 dropna 无事可做
• 填入 pd.NA（pandas 1.0+）可保持缺失语义，但 dropna 仍只认 np.nan/None/NaT，不认 pd.NA（除非设 inplace=True 并用 dropna(..., how='all') 等更宽松模式）
• 稳妥做法：需要保留“占位”又不干扰 dropna，用 df.loc[df['col'].isna(), 'col'] = 'FILL' 手动赋值，避免整列 fillna

布尔过滤里 isna() 和 notna() 的坑

它们返回布尔 Series，但容易在链式操作中因运算符优先级出错，尤其和 &、| 混用时没加括号。

• 错误写法：df[df.a > 5 & df.b.isna()] → 因 & 优先级高于 >，实际解析为 df.a > (5 & df.b.isna())，报错或逻辑错
• 正确写法：df[(df.a > 5) & df.b.isna()]，所有布尔条件都必须括起来
• isna() 对 object 列能识别 None 和 np.nan，但对字符串 'None' 或 'null' 无感，别指望它“智能识别”

本篇关于《Pandas处理NaN方法：dropna与空值过滤详解》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！