Python快速生成混合数据并导出CSV方法

还在为生成混合数据类型的CSV文件而烦恼吗？本文详细介绍了如何利用Python的pandas、numpy和random库，高效生成包含数值和文本（分类）混合类型的大规模虚拟数据集，并将其保存为CSV文件。重点解决生成随机文本数据列时常见的错误，通过代码示例展示了如何使用列表推导式和random.choice()函数，为每一行数据独立生成随机文本值。同时，文章还分享了数据生成过程中的最佳实践，包括常量化变量、使用描述性变量名以及设置随机种子等，助你编写更健壮、可读性更强的数据生成代码，轻松应对数据分析、机器学习模型开发等场景。

1. 虚拟数据生成概述

在数据分析、机器学习模型开发或系统测试中，虚拟数据（Dummy Data）扮演着重要角色。它允许开发者在没有真实数据的情况下进行原型设计、功能验证和性能测试。一个常见的需求是生成包含不同数据类型的虚拟数据集，例如数值型（如面积、价格）和分类型（如区域、类别）。

2. 挑战：生成随机分类文本数据列

当需要生成大量数值型虚拟数据时，numpy.random.randint等函数提供了简洁高效的方法。然而，在生成分类文本数据列时，新手用户常会遇到困惑。一个常见的错误是尝试通过类似random.randrange(len(some_string))的方式来生成一整列的随机文本值。

错误示例分析：

考虑以下代码片段：

import random
import pandas as pd
import numpy as np

WORDS = ["Chelsea", "Kensington", "Westminster", "Pimlico", "Bank", "Holborn", "Camden", "Islington", "Angel", "Battersea", "Knightsbridge", "Bermondsey", "Newham"]
word = random.choice(WORDS) # 假设这里word被随机赋值为 "Chelsea"
np.random.seed(1)
data3 = pd.DataFrame({
    "Sq. feet" : np.random.randint(low=75, high=325, size=50000),
    "Price" : np.random.randint(low=200000, high=1250000, size=50000),
    "Borough" : random.randrange(len(word)) # 错误：len("Chelsea") 为 7，random.randrange(7) 产生一个 0-6 之间的整数（例如 5）。
                                            # 这个单一的整数 5 会被广播到 "Borough" 列的所有 50,000 行。
})
print(data3.head())

上述代码的预期输出是Borough列包含来自WORDS列表的随机文本值，但实际输出却是所有行的Borough列都显示同一个数字（例如5）。这是因为random.randrange(len(word))仅执行一次，返回一个单一的整数，这个整数随后被Pandas的广播机制应用到整个Borough列。为了生成一列随机的文本值，我们需要为每一行独立地选择一个随机值。

3. 正确的解决方案：使用列表推导式生成随机分类数据

解决上述问题的关键是为DataFrame的每一行生成一个独立的随机选择。这可以通过Python的列表推导式（List Comprehension）结合random.choice()函数来实现。

random.choice(sequence)函数用于从给定的非空序列中随机选择一个元素。通过将其置于列表推导式中，我们可以生成一个包含所需数量的随机元素的列表。

修正后的代码示例：

import random
import pandas as pd
import numpy as np

# 定义数据集大小
SIZE = 50_000

# 定义分类数据列表，建议使用更具描述性的变量名
BOROUGHS = ["Chelsea", "Kensington", "Westminster", "Pimlico", "Bank", "Holborn", "Camden", "Islington", "Angel", "Battersea", "Knightsbridge", "Bermondsey", "Newham"]

# 设置随机种子以确保结果可复现
np.random.seed(1)

# 构建DataFrame
data = pd.DataFrame({
    "Sq. feet": np.random.randint(low=75, high=325, size=SIZE),
    "Price": np.random.randint(low=200000, high=1250000, size=SIZE),
    # 使用列表推导式为每一行生成一个随机的区域名称
    "Borough": [random.choice(BOROUGHS) for _ in range(SIZE)]
})

# 将DataFrame保存为CSV文件
# index=False 避免将DataFrame的索引写入CSV文件
output_file_path = "realestate_dummy_data.csv"
data.to_csv(output_file_path, index=False)

print("生成的前5行数据：")
print(data.head())
print(f"\n数据已成功保存到：{output_file_path}")

代码输出示例：

生成的前5行数据：
   Sq. feet    Price      Borough
0       112   345382      Pimlico
1       310   901500    Battersea
2       215   661033      Holborn
3       147  1038431  Westminster
4       212   296497      Holborn

数据已成功保存到：realestate_dummy_data.csv

从输出中可以看出，Borough列现在包含了来自BOROUGHS列表的随机文本值，而不是重复的数字。

4. 关键概念与最佳实践

• numpy.random.randint(low, high, size): 用于生成指定范围[low, high)内，大小为size的整数数组。非常适合批量生成数值型虚拟数据。
• random.choice(sequence): 从给定的序列（如列表）中随机选择一个元素。
• 列表推导式 [expression for item in iterable]: 一种简洁的创建列表的方法。在本例中，[random.choice(BOROUGHS) for _ in range(SIZE)]会迭代SIZE次，每次迭代都调用random.choice(BOROUGHS)生成一个随机区域名，并将其收集到一个列表中。
• 变量常量化: 对于在代码中多次使用的固定值（如数据集大小50000），将其定义为常量（如SIZE = 50_000）是一种良好的编程习惯。这不仅提高了代码的可读性，也便于日后修改和维护。
• 描述性变量名: 将WORDS重命名为BOROUGHS等，使变量的用途一目了然。
• np.random.seed(seed_value): 设置随机数生成器的种子。这对于需要可复现结果的实验和测试至关重要。每次使用相同的种子，生成的随机数序列将是相同的。
• df.to_csv(filepath, index=False): 将DataFrame保存为CSV文件。index=False参数用于防止将DataFrame的行索引作为一列写入CSV文件，这通常是希望避免的。

5. 总结

通过本文，我们学习了如何使用pandas、numpy和random库有效地生成包含数值和分类文本的混合虚拟数据集。关键在于理解如何正确地为分类列生成随机值，即利用列表推导式结合random.choice()函数，为每一行数据独立地选择一个随机元素。遵循文中提到的最佳实践，可以编写出更健壮、可读性更强且易于维护的数据生成代码。

本篇关于《Python快速生成混合数据并导出CSV方法》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！