本教程详细介绍了如何使用Python的Pandas和NumPy库生成包含数值和随机文本数据的虚拟数据集。文章聚焦于解决在DataFrame中为文本列生成多行随机值时的常见错误，通过列表推导式和random.choice函数提供了高效且准确的解决方案，并强调了代码可读性和维护性的最佳实践。
在数据分析和机器学习项目中，经常需要生成虚拟数据（dummy data）来测试代码、模拟场景或进行原型开发。当需要的数据集包含数值型和文本（分类）型字段时，如何高效且正确地生成这些混合类型的数据是一个常见的需求。本文将详细阐述如何利用pandas和numpy库，结合python的random模块，创建包含多列数值和随机文本数据的dataframe，并提供最佳实践。
1. 理解问题：生成随机文本列的常见误区
在尝试为DataFrame生成随机文本列时，一个常见的错误是未能为每一行独立生成一个随机值，而是生成了一个单一的随机值并将其广播到整个列。例如，如果有一个字符串列表WORDS = [“A”, “B”, “C”]，并尝试使用”Column”: random.randrange(len(word))或”Column”: random.choice(word)（其中word是random.choice(WORDS)的结果，即一个单一的字符串）来填充列，结果将是整个列都填充了相同的随机索引或单一字符串的字符。
正确的做法是为DataFrame的每一行独立地从预定义的文本列表中选择一个随机值，从而确保整个列充满了不同的随机文本条目。
2. 生成数值型虚拟数据
对于数值型数据，NumPy库提供了强大的工具。np.random.randint函数可以方便地生成指定范围内的整数数组。
例如，要生成50,000行介于75到325之间的随机整数作为“Sq. feet”列，以及介于200,000到1,250,000之间的随机整数作为“Price”列，可以这样做：
import numpy as npimport pandas as pdSIZE = 50000 # 定义数据行数# 设置随机种子以保证结果可复现np.random.seed(1)sq_feet_data = np.random.randint(low=75, high=325, size=SIZE)price_data = np.random.randint(low=200000, high=1250000, size=SIZE)
3. 生成文本（分类）型虚拟数据
生成随机文本列的关键在于使用列表推导式结合random.choice()函数。random.choice()函数用于从一个非空序列中随机选择一个元素。通过列表推导式，我们可以重复这个操作SIZE次，从而生成一个包含SIZE个随机文本元素的列表。
假设我们有一个包含不同行政区名称的列表：
import randomBOROUGHS = ["Chelsea", "Kensington", "Westminster", "Pimlico", "Bank", "Holborn", "Camden", "Islington", "Angel", "Battersea", "Knightsbridge", "Bermondsey", "Newham"]# 使用列表推导式生成随机行政区列表borough_data = [random.choice(BOROUGHS) for _ in range(SIZE)]
这里的_是一个占位符变量，表示我们不需要在循环中使用每次迭代的索引值。
4. 整合所有数据并创建DataFrame
将生成的数值和文本数据整合到一个Pandas DataFrame中：
# 完整的代码示例import randomimport pandas as pdimport numpy as np# 定义数据行数，建议使用大写变量名表示常量SIZE = 50_000# 定义行政区列表，建议使用大写变量名表示常量BOROUGHS = ["Chelsea", "Kensington", "Westminster", "Pimlico", "Bank", "Holborn", "Camden", "Islington", "Angel", "Battersea", "Knightsbridge", "Bermondsey", "Newham"]# 设置NumPy的随机种子以保证数值数据可复现np.random.seed(1)# 创建DataFramedata = pd.DataFrame({ "Sq. feet": np.random.randint(low=75, high=325, size=SIZE), "Price": np.random.randint(low=200000, high=1250000, size=SIZE), "Borough": [random.choice(BOROUGHS) for _ in range(SIZE)] # 使用列表推导式生成随机文本列})# 打印前几行数据以验证print(data.head())# 将DataFrame保存为CSV文件# index=False 避免将DataFrame的索引写入CSV文件data.to_csv("realestate.csv", index=False)print("n数据已成功生成并保存到 realestate.csv")
示例输出：
Sq. feet Price Borough0 112 345382 Pimlico1 310 901500 Battersea2 215 661033 Holborn3 147 1038431 Westminster4 212 296497 Holborn
可以看到，“Borough”列现在包含了来自BOROUGHS列表的随机行政区名称，而不是单一的重复值。
5. 注意事项与最佳实践
使用常量： 对于在代码中多次出现的数值（如SIZE），将其定义为顶部的大写常量，可以提高代码的可读性和可维护性。当需要修改数据行数时，只需更改一个地方。变量命名： 使用清晰、描述性的变量名（例如，将WORDS更名为BOROUGHS）可以使代码意图一目了然。随机种子： np.random.seed()用于设置NumPy的随机数生成器种子，这对于确保数值型数据的可复现性至关重要。这意味着每次运行代码时，数值列将生成相同的随机序列。请注意，random.seed()是Python内置random模块的种子设置方法，与np.random.seed()是独立的。在本例中，random.choice的随机性不受np.random.seed影响，但通常为了完全复现，也会设置random.seed()。index=False： 在将DataFrame保存为CSV文件时，index=False参数可以防止Pandas将DataFrame的默认索引作为单独的一列写入CSV文件，这通常是期望的行为。列表推导式： 列表推导式[random.choice(BOROUGHS) for _ in range(SIZE)]是一种简洁高效的Python语法，用于创建列表，非常适合这种生成重复随机值的场景。
总结
通过结合使用NumPy生成数值数据和Python的random.choice函数配合列表推导式生成文本数据，可以高效且准确地创建包含混合数据类型的虚拟DataFrame。遵循良好的编程实践，如使用常量、清晰命名和设置随机种子，将进一步提升代码的质量和可维护性。掌握这些技巧，将使您在数据准备和项目测试阶段更加得心应手。
以上就是使用Pandas生成混合类型虚拟数据：数值与文本列的正确实践的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1372567.html
微信扫一扫 
支付宝扫一扫 
