Pandas数据清洗技巧与实战教程

数据清洗是数据分析前不可或缺的关键环节，本文以真实销售订单场景为切入点，系统讲解如何用Pandas高效处理缺失值、重复记录、时间与文本格式混乱、数据类型错误及异常数值等典型问题，并强调结合业务逻辑分步迭代、实时验证的重要性——从识别缺失模式到智能填充，从主键去重到多维度合并，从时间解析与状态标记到文本标准化与数值校准，每一步都附有可直接复用的代码逻辑和决策依据，助你将杂乱原始数据稳健转化为高质量分析就绪数据。

数据清洗是数据分析前最关键的一步，Pandas 提供了丰富且实用的工具来处理缺失值、重复值、异常值、格式不一致和类型错误等问题。下面通过一个贴近真实业务的销售订单数据清洗实战案例，带你一步步完成从原始数据到分析就绪数据的全过程。

识别并处理缺失值

缺失值常见于用户未填写、系统采集失败或导出异常等情况。直接删除可能丢失重要样本，盲目填充又可能引入偏差。

建议先用 df.isnull().sum() 查看各列缺失数量，再结合业务判断处理方式：

• 对“客户邮箱”这类非必需但有分析价值的字段，可保留空值，后续建模时再做one-hot或标记为“未知”
• 对“订单金额”缺失，检查是否与“订单状态=已取消”强相关——若是，可填充为0；否则考虑用同城市/同商品类别的中位数填充
• 对整行缺失超过3个关键字段（如订单号、日期、金额）的记录，建议直接删除：df.dropna(thresh=4, inplace=True)

去重与主键校验

订单数据中，“订单号”应唯一。但实际常出现因同步延迟、重复提交导致的完全重复行，或仅时间戳微调的近似重复。

分两步处理：

• 用 df.duplicated(subset=['订单号'], keep='first') 找出重复订单号，并人工抽检几条确认是否真重复
• 若存在“同一订单号+不同支付渠道”的合法多行情况，需明确业务规则：是否应合并？还是保留明细？确定后用 groupby('订单号').agg(...) 合并金额、拼接渠道等
• 对无业务意义的全字段重复，直接 df.drop_duplicates(inplace=True)

统一时间与文本格式

原始数据中，“下单时间”可能是字符串（'2024/03/15 14:28'、'2024-03-15T14:28:05'）、数值（Excel序列号）甚至混入“暂未支付”等文本。

清洗要点：

• 先用 pd.to_datetime(df['下单时间'], errors='coerce') 转换，失败的自动变为 NaT，便于定位异常
• 对含“暂未支付”的行，可新增列 df['下单时间_状态'] = df['下单时间'].apply(lambda x: '待支付' if '暂未' in str(x) else '已下单')
• “商品名称”常有空格、大小写、符号不一致（如“iPhone15” vs “iphone 15”），用 df['商品名称'] = df['商品名称'].str.strip().str.lower().str.replace(r'[^a-z0-9\u4e00-\u9fa5]', '', regex=True) 标准化

修正数据类型与异常数值

看似数字的列（如“数量”“折扣率”）可能被读成 object 类型，或混入“—”“NULL”“N/A”等非数值字符。

操作建议：

• 用 df['数量'] = pd.to_numeric(df['数量'], errors='coerce') 强制转数值，异常值变 NaN，再结合业务判断：负数数量是否合理？0 是否代表赠品？
• “折扣率”本应在 0–1 之间，发现值为 85 的记录，大概率是百分比录入错误，统一除以 100：df.loc[df['折扣率'] > 1, '折扣率'] /= 100
• 对“省份”列中“北京市”“北京”“京”混用的情况，建立映射字典标准化：province_map = {'京': '北京市', '沪': '上海市', ...}，再用 df['省份'].replace(province_map, inplace=True)

清洗不是一次性的操作，而是一个迭代过程：每步处理后都应检查 df.info() 和 df.describe(include='all')，对比清洗前后分布变化。把关键清洗逻辑封装成函数，配合断言（如 assert df['订单号'].is_unique）能大幅提升可维护性与可信度。

理论要掌握，实操不能落！以上关于《Pandas数据清洗技巧与实战教程》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！