本文详细介绍了如何使用Python的Pandas和NumPy库生成包含数值和文本（分类）数据的虚拟数据集。重点讲解了数值型数据（如平方英尺、价格）和分类型数据（如区域）的生成方法，特别是通过列表推导式结合random.choice来填充文本列，并最终将数据导出为CSV文件，确保数据结构的正确性和多样性。
在数据分析、机器学习模型开发或系统测试中，经常需要创建具有特定结构和数据类型的虚拟数据集。这些数据集通常包含数值型（如整数、浮点数）和分类型（如文本、枚举值）数据。正确地生成这些混合数据类型，并将其整合到如pandas dataframe这样的结构中，是数据预处理的关键一步。
虚拟数据生成概述
生成虚拟数据通常涉及以下几个步骤：
定义所需数据的规模（行数）。为每个列确定数据类型和生成规则。利用相应的库（如NumPy用于数值，Python内置random模块用于分类）生成数据。将生成的数据整合到Pandas DataFrame中。将DataFrame导出为文件（如CSV）。
数值型数据生成
对于数值型数据，NumPy库提供了强大的工具。numpy.random.randint函数可以生成指定范围内的随机整数数组，非常适合创建像“面积”或“价格”这样的数值列。
示例：生成平方英尺和价格数据
import numpy as np# 定义数据行数SIZE = 50000# 生成“Sq. feet”列：75到325之间的随机整数sq_feet_data = np.random.randint(low=75, high=325, size=SIZE)# 生成“Price”列：200000到1250000之间的随机整数price_data = np.random.randint(low=200000, high=1250000, size=SIZE)
这里，low参数指定了随机数的下限（包含），high参数指定了上限（不包含），size参数则指定了生成数组的形状（这里是长度为SIZE的一维数组）。
立即学习“Python免费学习笔记（深入）”；
分类型数据生成
分类型数据（如文本标签）的生成需要从预定义的列表中随机选择元素。一个常见的错误是尝试对整个列应用单次随机选择，或错误地使用random.randrange。random.randrange通常用于生成指定范围内的随机整数索引，而不是直接选择列表中的元素。
正确的做法是使用random.choice函数，并结合列表推导式，为每一行独立地从预定义列表中随机选择一个元素，从而生成一个包含SIZE个随机选择的列表。
示例：生成“Borough”列
假设我们有一个行政区划名称的列表：
import randomBOROUGHS = ["Chelsea", "Kensington", "Westminster", "Pimlico", "Bank", "Holborn", "Camden", "Islington", "Angel", "Battersea", "Knightsbridge", "Bermondsey", "Newham"]# 使用列表推导式生成“Borough”列：从BOROUGHS列表中随机选择SIZE次borough_data = [random.choice(BOROUGHS) for _ in range(SIZE)]
这里的列表推导式[random.choice(BOROUGHS) for _ in range(SIZE)]会迭代SIZE次，每次都从BOROUGHS列表中随机选择一个元素，并将这些选择汇集成一个新的列表，其长度恰好是SIZE。
构建与导出DataFrame
一旦所有列的数据都已生成，就可以使用Pandas的DataFrame构造函数将它们组合起来，并最终导出为CSV文件。
完整示例代码
import randomimport pandas as pdimport numpy as np# 定义数据行数SIZE = 50_000# 定义分类数据列表BOROUGHS = ["Chelsea", "Kensington", "Westminster", "Pimlico", "Bank", "Holborn", "Camden", "Islington", "Angel", "Battersea", "Knightsbridge", "Bermondsey", "Newham"]# 设置NumPy随机种子以确保数值数据的可复现性np.random.seed(1)# 创建DataFramedata3 = pd.DataFrame({ "Sq. feet": np.random.randint(low=75, high=325, size=SIZE), "Price": np.random.randint(low=200000, high=1250000, size=SIZE), "Borough": [random.choice(BOROUGHS) for _ in range(SIZE)] # 使用列表推导式生成分类数据})# 将DataFrame保存为CSV文件# index=False 避免将DataFrame的索引写入CSV文件data3.to_csv("realestate.csv", index=False)# 打印DataFrame的前几行以验证print(data3.head())
预期输出示例
Sq. feet Price Borough0 112 345382 Pimlico1 310 901500 Battersea2 215 661033 Holborn3 147 1038431 Westminster4 212 296497 Holborn
可以看到，“Borough”列现在包含了预期的文本值，并且每行都是随机选择的。
注意事项与最佳实践
使用常量： 将重复使用的数字（如50000）定义为顶部常量（如SIZE），这不仅提高了代码的可读性，也便于后续修改和维护。随机种子： 对于需要可复现结果的场景（尤其是数值数据），使用np.random.seed()设置随机种子非常重要。这样，每次运行代码时，NumPy生成的随机数序列都将是相同的。列表推导式： 列表推导式是Python中一种简洁高效的创建列表的方法，尤其适用于根据现有列表或迭代器生成新列表。在生成大量随机分类数据时，它比传统的for循环更具可读性和性能优势。random.choice与random.randrange：random.choice(sequence)：从非空序列中随机选择一个元素。random.randrange(start, stop, step)：生成指定范围内的随机整数。理解两者的区别对于避免常见错误至关重要。
总结
通过结合使用NumPy进行数值数据生成和Python内置random模块（配合列表推导式）进行分类数据生成，我们可以高效且灵活地构建复杂的混合型虚拟数据集。Pandas DataFrame作为数据容器，使得数据的组织、操作和导出变得极其便捷。掌握这些技术，将大大提升数据准备阶段的效率和准确性。
以上就是使用Pandas和Python高效生成混合型虚拟数据：数值与文本结合实战的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1372520.html
微信扫一扫 
支付宝扫一扫 
