登录
首页 >  文章 >  python教程

Pythonpandas数据筛选技巧分享

时间：2025-09-13 16:30:44 261浏览 收藏

想要玩转Python数据分析？Pandas绝对是你的得力助手！本文深入解析Pandas数据筛选的核心技巧，助你高效提取所需信息。**核心在于布尔索引**，通过设定条件生成True/False序列，精准定位目标行。结合`loc`、`iloc`访问器，实现更精细的数据筛选。更高级的`query()`方法，语法贴近SQL，尤其适用于复杂条件筛选。文章还涵盖了`isin()`、`between()`、`.str`等实用方法，以及处理缺失值的`isnull()`/`notna()`技巧。掌握这些，无论是单条件还是多条件组合，亦或是处理特定类型数据，都能轻松应对，显著提升数据处理效率。快来学习Pandas筛选数据的奥秘，让你的数据分析更上一层楼！

Pandas筛选数据核心是布尔索引，通过条件生成True/False序列来选择行；结合loc、iloc、query()、isin()、between()及.str方法可实现多条件组合与复杂场景筛选，处理缺失值可用isnull()/notna()，配合括号明确优先级，提升代码可读性与效率。

Python怎么用pandas筛选数据_Pandas数据筛选实用技巧

Pandas在Python里筛选数据，核心就是利用布尔索引（Boolean Indexing）。你给它一个条件，它会返回一个True/False的序列，然后Pandas就用这个序列来挑选出所有对应为True的行。此外，loc和iloc这两个强大的访问器，配合布尔索引能实现更精细的筛选。更高级点，query()方法提供了一种更接近SQL的筛选语法，对于复杂条件尤其方便。理解这些，基本上就能应对绝大多数数据筛选的场景了。

import pandas as pd
import numpy as np

# 假设我们有一个DataFrame
data = {
    '姓名': ['张三', '李四', '王五', '赵六', '钱七', '孙八', '周九'],
    '年龄': [25, 30, 22, 35, 28, 40, 32],
    '城市': ['北京', '上海', '广州', '北京', '深圳', '上海', '杭州'],
    '收入': [8000, 12000, 7000, 15000, 10000, 18000, 9500],
    '是否在职': [True, True, False, True, True, True, False]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)
print("-" * 30)

# 1. 基本布尔索引筛选：筛选年龄大于30的人
filtered_df_age = df[df['年龄'] > 30]
print("筛选年龄大于30的人:")
print(filtered_df_age)
print("-" * 30)

# 2. 使用loc进行筛选：筛选城市是北京且收入高于10000的人
# loc的强大之处在于可以同时指定行和列的标签
filtered_df_loc = df.loc[(df['城市'] == '北京') & (df['收入'] > 10000)]
print("筛选城市是北京且收入高于10000的人 (使用loc):")
print(filtered_df_loc)
print("-" * 30)

# 3. 使用query()方法：筛选年龄在25到35之间，且不在职的人
# query方法用字符串表达式，有时候写起来更直观
filtered_df_query = df.query('25 <= 年龄 <= 35 and not 是否在职')
print("筛选年龄在25到35之间，且不在职的人 (使用query):")
print(filtered_df_query)
print("-" * 30)

# 4. 使用isin()方法：筛选城市是北京或上海的人
filtered_df_isin = df[df['城市'].isin(['北京', '上海'])]
print("筛选城市是北京或上海的人 (使用isin):")
print(filtered_df_isin)
print("-" * 30)

# 5. 字符串方法筛选：筛选姓名包含“三”或“七”的人
# 注意这里需要访问.str属性
filtered_df_str = df[df['姓名'].str.contains('三|七')]
print("筛选姓名包含“三”或“七”的人 (使用str.contains):")
print(filtered_df_str)
print("-" * 30)

# 6. 筛选缺失值：如果DataFrame中有缺失值
df_with_nan = df.copy()
df_with_nan.loc[0, '收入'] = np.nan
df_with_nan.loc[2, '城市'] = np.nan
print("包含缺失值的DataFrame:")
print(df_with_nan)
print("-" * 30)

# 筛选收入不为空的行
filtered_not_null = df_with_nan[df_with_nan['收入'].notna()]
print("筛选收入不为空的行:")
print(filtered_not_null)
print("-" * 30)

# 筛选城市为空的行
filtered_null_city = df_with_nan[df_with_nan['城市'].isnull()]
print("筛选城市为空的行:")
print(filtered_null_city)
print("-" * 30)

如何用多条件组合筛选数据？

在实际的数据分析中，我们很少只用一个条件来筛选数据。通常都需要结合多个条件，比如“年龄大于30且城市是上海”或者“收入低于8000或不在职”。Pandas在这方面做得非常灵活，主要依赖于布尔运算符 & (and), | (or), ~ (not)。我个人在写多条件筛选时，习惯性地会把每个条件用括号括起来，这样不仅能明确运算的优先级，也能让代码看起来更清晰，减少出错的可能。毕竟，Python的运算符优先级有时候挺微妙的，不加括号可能就不是你想要的结果了。

举个例子，我们想找出那些“年龄大于30”并且“收入高于15000”的人。

# 筛选年龄大于30 并且 收入高于15000的人
filtered_and = df[(df['年龄'] > 30) & (df['收入'] > 15000)]
print("年龄大于30 并且 收入高于15000的人:")
print(filtered_and)
print("-" * 30)

# 如果我们想找“城市是北京”或者“是否在职为False”的人
filtered_or = df[(df['城市'] == '北京') | (df['是否在职'] == False)]
print("城市是北京 或者 是否在职为False 的人:")
print(filtered_or)
print("-" * 30)

# 组合“非”操作：筛选不是北京人，且年龄小于30的人
filtered_not_and = df[(~(df['城市'] == '北京')) & (df['年龄'] < 30)]
print("不是北京人，且年龄小于30的人:")
print(filtered_not_and)
print("-" * 30)

这里有个小细节，如果你不加括号，像 df['年龄'] > 30 & df['收入'] > 15000 这样写，Python会先计算 30 & df['收入']，这显然不是我们想要的布尔运算。所以，养成给每个条件加括号的好习惯，能省去不少调试时间。

除了布尔索引，还有哪些高效的筛选方法？

布尔索引确实是基石，但Pandas还提供了不少“语法糖”或者说更“高阶”的筛选方法，它们在特定场景下能让代码更简洁、更具可读性。我个人觉得，这些方法并不是要取代布尔索引，而是作为它的补充，或者说，是布尔索引在特定模式下的优化封装。

  1. query() 方法： 这个方法我有时候会偷懒用，特别是条件比较多、比较复杂的时候。它允许你用字符串的形式表达筛选条件，非常类似于SQL的WHERE子句。对于熟悉SQL的人来说，上手会很快。它内部会进行一些优化，在处理大型数据集时可能比直接的布尔索引效率更高，因为它避免了创建大量的中间布尔Series。

    # 筛选年龄大于25，收入小于12000，且城市不是上海的人
filtered_query_complex = df.query('年龄 > 25 and 收入 < 12000 and 城市 != "上海"')
print("使用query()筛选：年龄大于25，收入小于12000，且城市不是上海的人:")
print(filtered_query_complex)
print("-" * 30)

# query()方法也支持引用外部变量，前面加一个'@'符号
min_age = 28
target_city = '北京'
filtered_query_var = df.query('年龄 >= @min_age and 城市 == @target_city')
print(f"使用query()和外部变量筛选：年龄大于等于{min_age}，且城市是{target_city}的人:")
print(filtered_query_var)
print("-" * 30)

    query()的缺点是，如果你条件非常简单，写成字符串反而显得有点重，而且调试字符串表达式有时候不如直接的Python表达式直观。但对于复杂条件，它确实能让代码更像“人话”。

  2. isin() 方法： 当你想筛选某一列的值是否在给定的一组值中时，isin()方法简直是神器。它比写一堆 or 条件要优雅得多。

    # 筛选城市是北京、上海或深圳的人
target_cities = ['北京', '上海', '深圳']
filtered_isin_list = df[df['城市'].isin(target_cities)]
print(f"使用isin()筛选：城市在{target_cities}中的人:")
print(filtered_isin_list)
print("-" * 30)

  3. between() 方法： 对于数值型数据，如果你想筛选一个范围内的值，between()方法非常方便，它默认是包含边界的（inclusive）。

    # 筛选收入在8000到12000之间的人 (包含8000和12000)
filtered_between_income = df[df['收入'].between(8000, 12000)]
print("使用between()筛选：收入在8000到12000之间的人:")
print(filtered_between_income)
print("-" * 30)

  4. 字符串方法 (.str accessor)： 当你的列是字符串类型时，Pandas提供了.str访问器，里面封装了很多字符串操作方法，比如contains()、startswith()、endswith()、match()等，它们都能直接用于筛选。

    # 筛选姓名以“张”开头的人
filtered_str_start = df[df['姓名'].str.startswith('张')]
print("使用str.startswith()筛选：姓名以“张”开头的人:")
print(filtered_str_start)
print("-" * 30)

# 筛选城市名称中包含“京”字的行
filtered_str_contains = df[df['城市'].str.contains('京')]
print("使用str.contains()筛选：城市名称中包含“京”字的行:")
print(filtered_str_contains)
print("-" * 30)

    这些方法在处理文本数据时，真的能让代码变得非常简洁和高效。

处理缺失值或特定类型数据时，筛选有什么技巧？

处理缺失值（NaN, Not a Number）是数据清洗的常见环节，筛选出或排除缺失值也是一种重要的筛选操作。Pandas为此提供了非常直观的方法：isnull() 和 notnull() (或者它们的别名 isna() 和 notna())。

  1. 筛选缺失值 (isnull() / isna()): 如果你想找出某一列中所有值为缺失值的行，就用这个。这对于理解数据质量，或者专门处理那些不完整的数据非常有用。

    # 假设我们有一个DataFrame，其中包含一些缺失值
df_with_missing = df.copy()
df_with_missing.loc[1, '年龄'] = np.nan
df_with_missing.loc[4, '收入'] = np.nan
df_with_missing.loc[6, '城市'] = np.nan
print("包含缺失值的DataFrame:")
print(df_with_missing)
print("-" * 30)

# 筛选年龄列中存在缺失值的行
missing_age_rows = df_with_missing[df_with_missing['年龄'].isnull()]
print("筛选年龄列中存在缺失值的行:")
print(missing_age_rows)
print("-" * 30)

# 筛选收入列中存在缺失值的行
missing_income_rows = df_with_missing[df_with_missing['收入'].isna()]
print("筛选收入列中存在缺失值的行 (使用isna()):")
print(missing_income_rows)
print("-" * 30)

  2. 筛选非缺失值 (notnull() / notna()): 与isnull()相反，notnull()用于筛选出某一列中所有非缺失值的行。这在很多情况下更常用，因为我们通常希望处理完整的数据。

    # 筛选收入列中没有缺失值的行
non_missing_income_rows = df_with_missing[df_with_missing['收入'].notnull()]
print("筛选收入列中没有缺失值的行:")
print(non_missing_income_rows)
print("-" * 30)

# 筛选城市列中没有缺失值的行
non_missing_city_rows = df_with_missing[df_with_missing['城市'].notna()]
print("筛选城市列中没有缺失值的行 (使用notna()):")
print(non_missing_city_rows)
print("-" * 30)

  3. 结合多列缺失值筛选： 我们也可以结合多个条件来筛选，比如筛选所有至少有一列缺失值的行，或者所有特定几列都非缺失值的行。

    # 筛选任何一列存在缺失值的行 (axis=1表示在行方向上检查)
rows_with_any_nan = df_with_missing[df_with_missing.isnull().any(axis=1)]
print("筛选任何一列存在缺失值的行:")
print(rows_with_any_nan)
print("-" * 30)

# 筛选所有列都非缺失值的行 (即删除所有包含缺失值的行)
rows_with_no_nan = df_with_missing[df_with_missing.notnull().all(axis=1)]
# 这其实和 df_with_missing.dropna() 的效果类似，但这里是筛选，dropna是直接删除
print("筛选所有列都非缺失值的行:")
print(rows_with_no_nan)
print("-" * 30)

至于“特定类型数据”的筛选，这通常不是直接筛选数据内容，而是筛选DataFrame的列。比如，我们可能想找出所有数值型的列，或者所有对象（字符串）类型的列。这通常通过select_dtypes()方法来完成，而不是直接的行筛选。但如果你想筛选出某一列中数据类型“不符合预期”的行，那可能需要结合apply()和type()函数，或者在数据加载阶段就做好类型转换。例如，筛选出“年龄”列中不是整数的行，这在数据清洗中偶尔会遇到。

# 假设年龄列里不小心混入了一个字符串
df_mixed_type = df.copy()
df_mixed_type.loc[0, '年龄'] = '二十五'
print("包含混合类型数据的DataFrame:")
print(df_mixed_type)
print("-" * 30)

# 筛选年龄列中不是数值类型的行
# 这里需要用apply和type()来检查每个元素
non_numeric_age_rows = df_mixed_type[df_mixed_type['年龄'].apply(lambda x: not isinstance(x, (int, float)))]
print("筛选年龄列中不是数值类型的行:")
print(non_numeric_age_rows)
print("-" * 30)

这种对数据类型进行筛选的场景，虽然不那么常见，但在数据质量检查时确实能派上用场。总的来说，Pandas的筛选功能非常强大和灵活，只要掌握了布尔索引的原理，再结合各种辅助方法，就能游刃有余地处理各种数据筛选需求了。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Pythonpandas数据筛选技巧分享》文章吧，也可关注golang学习网公众号了解相关技术文章。

相关阅读
更多>
最新阅读
更多>
课程推荐
更多>