本教程旨在指导用户如何使用Python和Pandas库高效地生成包含数值和文本类型数据的虚拟数据集。文章将深入探讨在生成文本型数据时常见的误区，特别是避免将单一随机值广播到所有行的错误，并详细介绍如何通过列表推导式结合random.choice()方法，为每一行独立生成随机的文本类别数据，确保数据的多样性和准确性。
1. 虚拟数据生成概述
在数据分析、机器学习模型开发或测试阶段，我们经常需要创建虚拟数据集。这些数据集通常包含多种数据类型，例如数值型（如面积、价格）和类别型（如区域、产品类型）。使用python的pandas和numpy库可以高效地完成这项任务。
2. 生成数值型数据
对于数值型数据，numpy.random.randint或numpy.random.uniform等函数是理想的选择。它们允许我们指定数值范围和所需的数据量。
例如，生成50,000行房屋面积和价格数据：
import numpy as npimport pandas as pdSIZE = 50000 # 定义数据行数，推荐使用变量而非硬编码np.random.seed(1) # 设置随机种子以确保结果可复现# 生成面积数据：75到325之间的随机整数sq_feet_data = np.random.randint(low=75, high=325, size=SIZE)# 生成价格数据：200,000到1,250,000之间的随机整数price_data = np.random.randint(low=200000, high=1250000, size=SIZE)
3. 生成文本类别型数据的常见误区
在生成文本类别型数据时，一个常见的错误是尝试使用类似random.randrange(len(word))的方式。这种方法的问题在于：
random.choice(WORDS)：首先从WORDS列表中随机选择一个单词，例如”Pimlico”。len(word)：计算这个单词的长度，例如len(“Pimlico”)得到7。random.randrange(len(word))：生成一个0到6（不包括7）之间的随机整数。将这个单一的随机整数（例如5）广播到所有50,000行，而不是为每一行生成一个随机的区域名称。
因此，最终结果会是一个所有行的“Borough”列都显示相同数字（例如5）的数据框，这显然不是我们期望的随机文本类别数据。
立即学习“Python免费学习笔记（深入）”；
4. 正确生成文本类别型数据的方法：列表推导式与random.choice()
要为每一行独立生成随机的文本类别数据，我们需要使用random.choice()函数结合列表推导式。random.choice(list)从给定的列表中随机选择一个元素。通过在列表推导式中重复执行此操作SIZE次，我们可以生成一个包含SIZE个随机类别值的列表。
import randomBOROUGHS = ["Chelsea", "Kensington", "Westminster", "Pimlico", "Bank", "Holborn", "Camden", "Islington", "Angel", "Battersea", "Knightsbridge", "Bermondsey", "Newham"]# 使用列表推导式为每一行生成一个随机区域borough_data = [random.choice(BOROUGHS) for _ in range(SIZE)]
这里的_是一个占位符变量，表示我们不需要在循环内部使用迭代器的值。range(SIZE)确保了random.choice(BOROUGHS)操作被执行了SIZE次，从而生成了一个长度为SIZE的随机区域列表。
5. 整合所有数据并导出为CSV
将数值型和文本类别型数据整合到一个Pandas DataFrame中，并导出为CSV文件：
# 整合所有数据到DataFramedata_frame = pd.DataFrame({ "Sq. feet": sq_feet_data, "Price": price_data, "Borough": borough_data})# 打印DataFrame的前几行以验证结果print(data_frame.head())# 将DataFrame保存为CSV文件# index=False 避免将DataFrame的索引写入CSV文件data_frame.to_csv("realestate.csv", index=False)print("n虚拟数据已成功生成并保存到 realestate.csv")
完整示例代码:
import randomimport pandas as pdimport numpy as np# 定义数据行数，使用常量可提高代码可维护性SIZE = 50_000# 定义区域列表，建议使用更具描述性的变量名BOROUGHS = ["Chelsea", "Kensington", "Westminster", "Pimlico", "Bank", "Holborn", "Camden", "Islington", "Angel", "Battersea", "Knightsbridge", "Bermondsey", "Newham"]# 设置随机种子以确保结果可复现np.random.seed(1)# 构建DataFramedata_frame = pd.DataFrame({ "Sq. feet": np.random.randint(low=75, high=325, size=SIZE), "Price": np.random.randint(low=200000, high=1250000, size=SIZE), # 正确生成文本类别数据：使用列表推导式和random.choice "Borough": [random.choice(BOROUGHS) for _ in range(SIZE)]})# 打印DataFrame的前几行print(data_frame.head())# 将DataFrame保存为CSV文件，不包含索引data_frame.to_csv("realestate.csv", index=False)print("n虚拟数据已成功生成并保存到 realestate.csv")
输出示例:
Sq. feet Price Borough0 112 345382 Pimlico1 310 901500 Battersea2 215 661033 Holborn3 147 1038431 Westminster4 212 296497 Holborn
6. 注意事项与最佳实践
使用常量定义重复值： 对于像数据行数SIZE这样的重复使用的数值，将其定义为一个常量（例如SIZE = 50_000）放置在代码顶部是一个好习惯。这不仅提高了代码的可读性，也便于未来修改参数时只需更改一处。清晰的变量命名： 将WORDS重命名为更具体的BOROUGHS，可以使代码意图更加明确。随机种子： 使用np.random.seed()可以确保每次运行代码时，随机数生成的结果都是相同的，这对于调试和结果复现至关重要。列表推导式： [expression for item in iterable]是Python中一种简洁高效的创建列表的方法，非常适用于批量生成数据。对于本例中的类别数据生成，它比传统的for循环更具可读性和效率。
7. 总结
通过本教程，我们学习了如何使用pandas和numpy库生成包含数值和文本类别数据的虚拟数据集。关键在于理解random.choice()与列表推导式结合使用的强大功能，以避免在生成类别数据时常见的单一值广播错误。遵循这些最佳实践，可以确保生成的数据集既准确又易于维护，为后续的数据分析和模型开发工作打下坚实基础。
以上就是Python Pandas生成混合类型虚拟数据：数值与文本的正确姿势的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1372565.html
微信扫一扫 
支付宝扫一扫 
