Pandas列统计：类型与唯一值分析指南

从现在开始，我们要努力学习啦！今天我给大家带来《Pandas DataFrame列统计：类型与唯一值分析》，感兴趣的朋友请继续看下去吧！下文中的内容我们主要会涉及到等等知识点，如果在阅读本文过程中有遇到不清楚的地方，欢迎留言呀！我们一起讨论，一起学习！

1. 概述与需求

在数据分析的初期阶段，了解数据集的结构至关重要。特别是对于拥有大量列的DataFrame，手动检查每一列的数据类型和唯一值既耗时又容易出错。一个自动化的方法能够生成一个汇总表格，清晰地列出每列的名称、数据类型、所有唯一值以及唯一值的数量，将极大提升数据探索的效率。

例如，对于以下DataFrame：

import pandas as pd

df = pd.DataFrame({
    'letter': ['a','b','c','a','b','c'],
    'state': ['CA','FL','CA','FL','CA','FL'],
    'scores': [11.6,12.8,13.9,14.2,15.8,16.2],
    'age': [12,28,19,14,12,28]})
print(df)

期望的输出是一个新的DataFrame，其结构如下：

2. 实现方法

实现上述需求的核心思路是遍历DataFrame的每一列，并针对每列提取所需的信息（列名、数据类型、唯一值列表及数量），然后将这些信息汇总到一个新的DataFrame中。

2.1 核心步骤

1. 获取列名： 使用 df.columns 获取所有列的名称。
2. 获取数据类型： 使用 df.dtypes 获取所有列的数据类型。
3. 获取唯一值： 对于每一列，使用 df[col].unique() 方法获取其所有唯一值。
4. 统计唯一值数量： 获取唯一值数组的长度。
5. 格式化唯一值： 将获取到的唯一值数组转换为字符串列表，并用逗号和空格连接成一个单一的字符串，以便在表格中显示。
6. 构建结果DataFrame： 将收集到的所有信息组织成字典或列表，然后传入 pd.DataFrame 构造函数。

2.2 示例代码

以下是实现上述功能的完整Python代码：

import pandas as pd

# 示例 DataFrame
df = pd.DataFrame({
    'letter': ['a','b','c','a','b','c'],
    'state': ['CA','FL','CA','FL','CA','FL'],
    'scores': [11.6,12.8,13.9,14.2,15.8,16.2],
    'age': [12,28,19,14,12,28]})

# 用于存储每列信息的列表
column_names = []
data_types = []
unique_values_str = []
unique_counts = []

# 遍历 DataFrame 的每一列
for col in df.columns:
    # 收集列名
    column_names.append(col)

    # 收集数据类型，转换为字符串表示
    data_types.append(str(df[col].dtype))

    # 获取唯一值数组
    unique_vals = df[col].unique()

    # 将唯一值数组中的每个元素转换为字符串，然后用 ', ' 连接
    # 确保所有类型的值都能正确转换为字符串并拼接
    formatted_unique_vals = [str(x) for x in unique_vals]
    unique_values_str.append(', '.join(formatted_unique_vals))

    # 统计唯一值数量
    unique_counts.append(len(unique_vals))

# 构建结果 DataFrame
summary_df = pd.DataFrame({
    'columns_names': column_names,
    'Dtype': data_types,
    'Unique_values': unique_values_str,
    'Unique_count': unique_counts
})

print(summary_df)

输出结果：

  columns_names    Dtype                    Unique_values  Unique_count
0        letter   object                          a, b, c             3
1         state   object                           CA, FL             2
2        scores  float64  11.6, 12.8, 13.9, 14.2, 15.8, 16.2          6
3           age    int64                   12, 28, 19, 14             4

2.3 封装为函数

为了提高代码的复用性和可维护性，特别是当需要对多个DataFrame执行相同操作时，可以将上述逻辑封装成一个函数：

import pandas as pd

def generate_dataframe_summary(df: pd.DataFrame) -> pd.DataFrame:
    """
    为给定的 Pandas DataFrame 生成一个包含列名、数据类型、唯一值列表和唯一值数量的汇总表。

    Args:
        df (pd.DataFrame): 需要分析的 DataFrame。

    Returns:
        pd.DataFrame: 包含每列概览信息的新 DataFrame。
    """
    column_names = []
    data_types = []
    unique_values_str = []
    unique_counts = []

    for col in df.columns:
        column_names.append(col)
        data_types.append(str(df[col].dtype))

        unique_vals = df[col].unique()
        formatted_unique_vals = [str(x) for x in unique_vals]
        unique_values_str.append(', '.join(formatted_unique_vals))

        unique_counts.append(len(unique_vals))

    summary_df = pd.DataFrame({
        'columns_names': column_names,
        'Dtype': data_types,
        'Unique_values': unique_values_str,
        'Unique_count': unique_counts
    })
    return summary_df

# 示例使用
df_large = pd.DataFrame({
    f'col_{i}': [i % 5, (i + 1) % 3, (i + 2) % 7] * 100 for i in range(70)
})
df_large['text_col'] = ['apple', 'banana', 'orange'] * 70
df_large['float_col'] = [float(x) / 10 for x in range(210)]

summary_of_large_df = generate_dataframe_summary(df_large)
print(summary_of_large_df.head()) # 打印前几行，因为列数较多

3. 注意事项

• 唯一值数量过多时的显示： 如果某一列的唯一值数量非常庞大（例如，一个ID列有数百万个唯一值），将其全部转换为字符串并连接成一个长字符串可能会导致内存消耗过大，并且在显示时失去可读性。在这种情况下，可以考虑对 Unique_values 列进行优化，例如：
  • 只显示前 N 个唯一值，并在末尾添加 ...。
  • 对于唯一值数量超过某个阈值的列，只显示 (N unique values) 而不列出具体值。
• 数据类型表示： df.dtypes 返回的是Pandas内部的数据类型对象（如 int64, float64, object）。使用 str() 函数将其转换为字符串，以获得更易读的表示。
• 性能考量： 对于拥有成千上万列的超大型DataFrame，上述遍历列的方法通常效率足够。但对于极端情况，如果唯一值计算成为瓶颈，可能需要考虑更底层的优化，例如使用NumPy的 unique 函数或并行处理。然而，对于大多数常见的数据分析场景，当前的方法是高效且易于理解的。
• 缺失值处理： unique() 方法默认会包含 NaN（如果存在）。如果需要排除缺失值，可以在调用 unique() 之前先进行缺失值过滤，例如 df[col].dropna().unique()。

4. 总结

通过本文介绍的方法，我们可以轻松地为任何Pandas DataFrame生成一份详细的列信息概览表。这份汇总表不仅包含了每列的数据类型和唯一值数量，还以清晰的格式展示了具体的唯一值列表，这对于数据探索、验证数据质量以及规划后续的数据清洗和特征工程步骤都非常有帮助。将此功能封装为函数，进一步提升了其在实际项目中的可用性和效率。

好了，本文到此结束，带大家了解了《Pandas列统计：类型与唯一值分析指南》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多文章知识！