Pandas识别重复与非重复值方法

本文详细介绍了如何利用Pandas库在DataFrame中高效识别并提取行内重复值与非重复值。通过巧妙运用`pd.DataFrame.duplicated()`方法，并结合`transform`函数，可以轻松检测出每行中的重复数据，生成布尔掩码。进一步，通过筛选包含至少两个重复值的行，并提取对应的非重复值和重复值，满足数据分析和清洗的特定需求。本文提供了清晰的代码示例，包括如何准备数据、设置索引、应用重复值检测、筛选目标行以及提取所需结果，并对结果进行格式化，最终生成符合特定格式的数据集。无论是在问卷数据处理、日志分析，还是其他需要识别行内模式的场景中，本文提供的方法都具有极高的实用价值，助力提升数据处理效率。

在数据处理过程中，我们经常会遇到需要检查DataFrame中行内是否存在重复值的情况，并且可能需要根据这些重复值进行筛选或提取。例如，在一个包含多个数值列的数据集中，我们可能希望找出那些在Num1到Num7这些列中出现过至少两次相同数值的行，并分别获取这些行中非重复的数值或仅是重复的数值。

1. 准备示例数据

首先，我们创建一个示例DataFrame，其中包含Row_Num作为行标识符，以及Num1到Num7等数值列。

import numpy as np
import pandas as pd

df = pd.DataFrame([[1,1,2,4,5,6,7,7],
            [2,5,6,7,22,23,34,48],
            [3,3,5,6,7,45,46,48],
            [4,6,7,14,29,32,6,29], # 重复值 6 和 29
            [5,6,7,13,23,33,35,7], # 重复值 7
            [6,1,6,7,8,9,10,8],
            [7,0,2,5,7,19,7,5]], # 重复值 7 和 5
            columns = ['Row_Num', 'Num1','Num2','Num3','Num4','Num5','Num6','Num7'])

print("原始DataFrame:")
print(df)

2. 识别行内重复值

为了识别行内的重复值，我们可以使用DataFrame.duplicated()方法。关键在于将其应用于每一行，并指定axis=1。在此之前，为了方便后续操作并保留原始行号，我们将Row_Num列设置为DataFrame的索引。

# 将 'Row_Num' 设置为索引，便于后续操作和结果展示
df_indexed = df.set_index('Row_Num')

# 仅考虑 'Num1' 到 'Num7' 列进行重复值检测
data_cols = [f'Num{i}' for i in range(1, 8)]
df_target = df_indexed[data_cols]

# 使用 transform 和 lambda 函数检测每行中的重复值
# duplicated() 标记第二次及以后出现的重复值为 True
df_duplicated_mask = df_target.transform(lambda x: x.duplicated(), axis=1)

print("\n每行中重复值检测结果 (布尔掩码):")
print(df_duplicated_mask)

df_duplicated_mask是一个布尔型DataFrame，其中True表示该位置的数值在当前行中是重复的（即非首次出现）。

3. 筛选包含至少两个重复值的行

根据示例需求，我们需要筛选出那些至少有两个重复值（即df_duplicated_mask中至少有两个True）的行。这可以通过计算每行True的数量并设置阈值来实现。

# 筛选出至少包含两个重复值的行（即 duplicated 掩码中至少有两个 True）
# 例如，如果一个值重复两次，duplicated 会标记一次 True。如果两个不同的值各重复一次，duplicated 会标记两次 True。
rows_with_multiple_duplicates = df_duplicated_mask.sum(axis=1) >= 2
filtered_df_for_processing = df_indexed[rows_with_multiple_duplicates]
filtered_duplicated_mask = df_duplicated_mask[rows_with_multiple_duplicates]

print("\n筛选出的包含至少两个重复值的行 (原始数据):")
print(filtered_df_for_processing)
print("\n对应行的重复值掩码:")
print(filtered_duplicated_mask)

从上述输出可以看出，只有 Row_Num 为 4 和 7 的行被选中，这与问题描述中的预期一致。

4. 提取非重复值 (第一种结果)

现在，我们将从筛选出的行中提取非重复值。这意味着我们将保留那些在filtered_duplicated_mask中对应为False的数值。

# 提取非重复值
# 使用 ~ (取反) 运算符选择非重复值
result_non_duplicates = filtered_df_for_processing[~filtered_duplicated_mask].dropna(axis=1, how='all')

print("\n第一种结果：提取非重复值 (对应问题中的 df2 格式):")
print(result_non_duplicates)

dropna(axis=1, how='all')在这里很重要，它会移除那些在筛选后只剩下NaN值的列。

5. 提取重复值 (第二种结果)

接下来，我们提取那些在filtered_duplicated_mask中对应为True的重复值。

# 提取重复值
result_duplicates = filtered_df_for_processing[filtered_duplicated_mask].dropna(axis=1, how='all')

print("\n第二种结果：提取重复值 (对应问题中的 df3 格式):")
print(result_duplicates)

同样，dropna(axis=1, how='all')用于清理只剩下NaN的列。

6. 结果与原始示例匹配

为了使结果完全匹配原始问题中df2和df3的格式，我们可能需要对列名进行重命名，并重置索引。

# 匹配 df2 格式
final_df2 = result_non_duplicates.reset_index()
# 根据原始问题示例，Num1-Num5是动态的，这里我们保留当前列名或按需重命名
print("\n最终结果 df2 (重置索引):")
print(final_df2)

# 匹配 df3 格式
final_df3 = result_duplicates.reset_index()
# 根据原始问题示例，Num1-Num2是动态的，这里我们保留当前列名或按需重命名
# 如果需要严格匹配，可以手动指定列名，例如：final_df3.columns = ['Row_Num', 'Num1', 'Num2']
print("\n最终结果 df3 (重置索引):")
print(final_df3)

注意事项与总结

• 索引管理: 将Row_Num设置为索引是处理此类问题时的常见做法，它能有效保留行标识符，避免在筛选和操作过程中丢失上下文。在最终输出时，可以通过reset_index()将其转换回普通列。
• duplicated()的行为: DataFrame.duplicated(axis=1)会标记行内第二次及以后出现的重复值为True。这意味着如果一个值在行内出现了3次，它会标记两次True。
• 筛选条件: df_duplicated_mask.sum(axis=1) >= N是筛选具有N个或更多重复值的行的关键。根据具体需求，N的值可以调整。例如，如果只需要筛选出任何存在重复值的行（即使只有一个值重复），可以将条件改为>= 1。
• dropna(axis=1, how='all'): 在提取重复值或非重复值后，某些列可能因为没有符合条件的数值而全为NaN。使用dropna可以清理这些空列，使结果更简洁。
• 动态列名: 示例中的Num1, Num2等列名是根据提取结果动态生成的。如果需要固定的列名，可以在reset_index()后手动进行重命名。

通过本教程，您应该能够熟练地在Pandas DataFrame中识别行内重复值，并根据需要提取非重复部分或仅重复部分，从而高效地完成数据清洗和分析任务。这种方法在处理问卷数据、日志分析或任何需要识别行内模式的场景中都非常有用。

终于介绍完啦！小伙伴们，这篇关于《Pandas识别重复与非重复值方法》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布文章相关知识，快来关注吧！