PandasDataFrame列类型与唯一值统计方法

还在为Pandas DataFrame中海量列的数据类型和唯一值统计头疼吗？本文深入讲解如何利用Python Pandas库，高效生成结构化的列特征统计表，清晰展示每列的名称、数据类型、唯一值列表及其数量。通过自动化统计，告别手动检查的繁琐，快速掌握数据概览，助力数据质量问题识别、数据类型匹配和分类变量基数分析。更有可复用函数封装，提升代码效率，为数据清洗、特征工程和模型构建打下坚实基础。掌握Pandas数据分析技巧，从本文开始！

引言：数据概览的重要性

在数据分析和机器学习项目中，深入理解数据集的结构和内容是至关重要的第一步。对于一个Pandas DataFrame，了解每列的数据类型（Dtype）以及其中包含的唯一值（Unique Values）及其数量，能够帮助我们快速识别潜在的数据质量问题、数据类型不匹配，或者发现分类变量的基数（Cardinality）。手动检查每个列既耗时又容易出错，尤其当DataFrame包含数十甚至上百个列时。因此，构建一个自动化的、可扩展的列特征统计表显得尤为必要。

核心方法：构建列特征统计表

为了生成一个包含列名、数据类型、唯一值列表和唯一值数量的汇总表，我们可以通过迭代DataFrame的每一列来实现。以下是具体的实现步骤和示例代码。

1. 准备示例DataFrame

首先，我们创建一个示例DataFrame，以便演示后续的操作：

import pandas as pd

# 创建示例DataFrame
df = pd.DataFrame({
    'letter': ['a','b','c','a','b','c'],
    'state': ['CA','FL','CA','FL','CA','FL'],
    'scores': [11.6,12.8,13.9,14.2,15.8,16.2],
    'age': [12,28,19,14,12,28]
})
print("原始DataFrame:")
print(df)

2. 迭代并提取列信息

我们将遍历DataFrame的所有列。对于每一列，我们需要获取其数据类型、提取所有唯一的取值，并将这些唯一值转换为字符串形式以便于在汇总表中显示。同时，统计唯一值的数量也是一个非常有用的指标。

# 初始化列表用于存储提取的信息
column_names = []
data_types = []
unique_values_list = []
unique_counts = []

# 遍历DataFrame的每一列
for col in df.columns:
    column_names.append(col) # 列名
    data_types.append(str(df[col].dtype)) # 数据类型

    # 获取唯一值，并转换为字符串列表，然后用逗号连接
    unique_vals = df[col].unique()
    # 将每个唯一值转换为字符串，以防出现非字符串类型（如数字、布尔值）
    unique_vals_str = [str(x) for x in unique_vals] 
    unique_values_list.append(', '.join(unique_vals_str))

    unique_counts.append(len(unique_vals)) # 唯一值数量

3. 构建结果DataFrame

最后，我们将收集到的所有信息汇聚到一个新的Pandas DataFrame中，形成我们所需的列特征统计表。

# 构建结果DataFrame
summary_df = pd.DataFrame({
    'Column Name': column_names,
    'Dtype': data_types,
    'Unique Values': unique_values_list,
    'Unique Count': unique_counts
})

print("\n列特征统计表:")
print(summary_df)

输出示例：

原始DataFrame:
  letter state  scores  age
0      a    CA    11.6   12
1      b    FL    12.8   28
2      c    CA    13.9   19
3      a    FL    14.2   14
4      b    CA    15.8   12
5      c    FL    16.2   28

列特征统计表:
  Column Name    Dtype              Unique Values  Unique Count
0      letter   object                      a,b,c             3
1       state   object                     CA, FL             2
2      scores  float64  11.6, 12.8, 13.9, 14.2,...             6
3         age    int64             12, 28, 19, 14             4

注：scores列的唯一值列表可能因显示宽度被截断，但实际内部存储是完整的。

封装为可复用函数

为了提高代码的可复用性和可维护性，特别是当需要对多个DataFrame执行相同操作时，将上述逻辑封装为一个函数是最佳实践。

def get_dataframe_summary(df: pd.DataFrame) -> pd.DataFrame:
    """
    为Pandas DataFrame生成一个列特征统计表，包括列名、数据类型、
    唯一的取值列表和唯一值的数量。

    参数:
    df (pd.DataFrame): 需要分析的DataFrame。

    返回:
    pd.DataFrame: 包含列特征统计信息的DataFrame。
    """
    column_names = []
    data_types = []
    unique_values_list = []
    unique_counts = []

    for col in df.columns:
        column_names.append(col)
        data_types.append(str(df[col].dtype))

        unique_vals = df[col].unique()
        unique_vals_str = [str(x) for x in unique_vals]
        unique_values_list.append(', '.join(unique_vals_str))

        unique_counts.append(len(unique_vals))

    summary_df = pd.DataFrame({
        'Column Name': column_names,
        'Dtype': data_types,
        'Unique Values': unique_values_list,
        'Unique Count': unique_counts
    })
    return summary_df

# 使用函数
summary_table = get_dataframe_summary(df)
print("\n使用函数生成的列特征统计表:")
print(summary_table)

注意事项与进阶考量

1. 处理大量唯一值： 如果某一列包含大量唯一值（例如，一个ID列），将其所有唯一值都列出来可能会导致“Unique Values”列非常长，影响可读性。在这种情况下，可以考虑对显示进行截断，例如只显示前N个唯一值，并在末尾加上“...”表示省略，或者仅显示唯一值的数量。

   # 示例：截断唯一值显示
   # unique_values_list.append(', '.join(unique_vals_str[:5]) + ('...' if len(unique_vals_str) > 5 else ''))

2. 性能考量： 对于具有数百万行甚至更多行的大型DataFrame，df[col].unique()操作可能会消耗较多的内存和计算资源。在极端情况下，如果性能成为瓶颈，可以考虑抽样或者使用更优化的库（如datatable）进行初步的数据探索。然而，对于大多数常见的数据集大小，Pandas的性能是足够的。
3. 更全面的数据概览： 本教程侧重于数据类型和唯一值。在实际数据探索中，通常还需要结合其他Pandas函数，如：
   • df.info()：提供非空值数量和内存使用情况。
   • df.describe()：为数值型列提供统计摘要（均值、标准差、最小值、最大值等）。
   • df.value_counts()：对于分类列，提供每个唯一值的频次分布。
   • df.isnull().sum()：统计每列的缺失值数量。 通过整合这些信息，可以构建一个更全面的数据质量报告。

总结

生成DataFrame列的类型和唯一值统计表是数据探索阶段的一个基础而强大的工具。通过本文介绍的方法，我们可以快速、自动化地获取这些关键信息，从而更好地理解数据集的结构、识别潜在问题，并为后续的数据清洗、特征工程和模型构建奠定基础。将此功能封装为可复用函数，进一步提升了其在实际项目中的应用价值。

今天关于《PandasDataFrame列类型与唯一值统计方法》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！