本文深入探讨了Numpy数组在特定场景下存储空间大于等效Python列表的现象。通过分析Numpy不进行自动压缩的特性以及Python Pickle在序列化时对对象引用的优化机制，揭示了导致这种差异的深层原因。教程将提供使用numpy.savez_compressed等方法来有效缩小Numpy数组文件大小的专业解决方案。
在数据科学和机器学习领域，numpy数组因其高效的数值计算能力和紧凑的内存布局而广受欢迎。然而，在某些特定的数据存储场景中，我们可能会遇到一个反直觉的现象：一个numpy数组的磁盘占用空间竟然比等效的python列表更大。这通常发生在数据序列化（如保存到文件）时，尤其是在未充分理解numpy和python序列化机制差异的情况下。
核心问题分析：Numpy数组为何可能更大？
当我们处理一个大规模数据集，例如一个10000x10000x7的Numpy数组，并将其数据类型指定为np.float16时，其理论上的存储大小可以精确计算。一个np.float16占用2字节（16位）。因此，一个10000x10000x7的np.float16数组的原始大小为：10000 10000 7 * 2 字节 = 1,400,000,000 字节 ≈ 1.4 GB。Numpy的np.save函数在默认情况下，会以原始二进制格式存储数组数据，不进行任何压缩。这意味着，无论数据内容如何，它都会占据其理论上的原始大小。
相比之下，Python的pickle模块在序列化Python对象时，具有一种优化机制：如果多个地方引用了内存中的同一个对象，pickle在序列化时不会多次存储该对象的完整副本，而是存储对该对象的引用。
考虑以下两种数据采样和保存的方式：
方式一：Numpy数组保存
import numpy as npimport random# 假设 all_games 是一个包含多个7元素浮点数列表的列表# 例如：all_games = [[float(i), float(i+1), ..., float(i+6)] for i in range(100)]def sample_games_numpy(all_games_list, file_name): # 将Python列表转换为Numpy数组 all_games_np = np.array(all_games_list, dtype=np.float16) DRAW = 10000 SAMPLE = 10000 # 从 all_games_np 中随机采样 # sampled_indices 会生成一个 (SAMPLE, DRAW) 的索引数组 # sampled_data 会根据这些索引从 all_games_np 中提取数据 # 此时 sampled_data 是一个全新的、独立的Numpy数组，其元素是原始数据的副本 rng = np.random.default_rng() # 推荐使用新的随机数生成器 sampled_indices = rng.choice(all_games_np.shape[0], size=(SAMPLE, DRAW), replace=True) sampled_data = all_games_np[sampled_indices] # 保存为Numpy文件，默认不压缩 np.save(file_name, sampled_data) print(f"Numpy array saved to {file_name}.npy with shape {sampled_data.shape}")# 示例调用 (all_games_list 需要实际数据)# all_games_list = [[random.random() for _ in range(7)] for _ in range(1000)]# sample_games_numpy(all_games_list, 'sampled_numpy_data')
当sampled_data被创建时，它是一个新的Numpy数组，包含了所有采样到的数据点的实际值。即使原始all_games_np中存在重复的7元素子数组，sampled_data也会存储这些重复值的完整副本。因此，当np.save保存这个10000x10000x7的数组时，它会严格按照1.4GB的原始大小进行存储。
立即学习“Python免费学习笔记（深入）”；
方式二：Python列表通过Pickle保存
import randomimport pickle# 假设 all_games 是一个包含多个7元素浮点数列表的列表# 例如：all_games = [[float(i), float(i+1), ..., float(i+6)] for i in range(100)]def sample_games_pickle(all_games_list, file_name): DRAW = 10000 SAMPLE = 10000 # 随机采样，注意这里直接从 all_games_list 中选择对象 # 如果 all_games_list 中包含重复的7元素列表对象， # random.choice 可能会多次返回同一个内存地址的列表对象 sampled_data = [[random.choice(all_games_list) for _ in range(DRAW)] for _ in range(SAMPLE)] # 使用pickle保存Python列表 with open(file_name, 'wb') as file: pickle.dump(sampled_data, file) print(f"Python list saved to {file_name}.pkl")# 示例调用 (all_games_list 需要实际数据)# all_games_list = [[random.random() for _ in range(7)] for _ in range(1000)]# sample_games_pickle(all_games_list, 'sampled_pickle_data')
在这种情况下，如果all_games_list中的元素（即那些7元素的子列表）存在重复，random.choice(all_games_list)可能会多次返回对同一个内存中列表对象的引用。pickle在序列化时会识别并利用这种对象引用关系，它不会为每个引用都存储一个完整的列表副本，而是存储一次对象内容，然后用引用指向它。这大大减少了文件大小，解释了为什么pickle文件可能只有500MB。
为了验证pickle的这种优化行为，我们可以强制random.choice返回对象的副本，而不是引用：
def sample_games_pickle_with_copy(all_games_list, file_name): DRAW = 10000 SAMPLE = 10000 # 强制创建副本，破坏pickle的引用优化 sampled_data = [[random.choice(all_games_list).copy() for _ in range(DRAW)] for _ in range(SAMPLE)] with open(file_name, 'wb') as file: pickle.dump(sampled_data, file) print(f"Python list (with copies) saved to {file_name}.pkl")# 示例调用# all_games_list = [[random.random() for _ in range(7)] for _ in range(1000)]# sample_games_pickle_with_copy(all_games_list, 'sampled_pickle_data_with_copy')
当执行上述代码，并添加.copy()后，pickle文件的大小可能会急剧增加，甚至达到4.4GB，这进一步证明了pickle默认的引用优化机制。
千帆AppBuilder
百度推出的一站式的AI原生应用开发资源和工具平台，致力于实现人人都能开发自己的AI原生应用。
158 查看详情
Numpy数组的存储优化策略
既然Numpy的np.save默认不压缩，那么如何才能减小Numpy数组的文件大小呢？答案是使用Numpy提供的压缩存储功能。
1. 使用 numpy.savez_compressed
numpy.savez_compressed函数允许我们将一个或多个Numpy数组以压缩的.npz格式保存。它内部使用了zipfile模块进行压缩，可以显著减小文件大小，尤其是在数据存在重复或规律性时。
import numpy as npdef save_compressed_numpy_array(data_array, file_name): """ 使用 numpy.savez_compressed 保存Numpy数组。 """ np.savez_compressed(file_name, data=data_array) print(f"Compressed Numpy array saved to {file_name}.npz with shape {data_array.shape}")# 假设 sampled_data 是之前生成的10000x10000x7的Numpy数组# sampled_data = np.random.rand(10000, 10000, 7).astype(np.float16)# save_compressed_numpy_array(sampled_data, 'sampled_numpy_data_compressed')
使用np.savez_compressed保存上述1.4GB的np.float16数组，通常可以将其文件大小大幅降低，甚至可能小于原始的500MB pickle文件，具体压缩率取决于数据的内在特性。
2. 考虑更小的数据类型（已在np.float16中应用）
在本案例中，已经使用了np.float16，这已经是浮点数类型中占用空间较小的选择了。如果数据允许，例如是整数且范围不大，可以考虑使用np.int8、np.uint8等更小的整数类型，这将直接从根本上减少每个元素占用的字节数。
总结与注意事项
Numpy的np.save默认不压缩：它以原始二进制格式存储数据，文件大小直接反映数组的理论内存占用。Python pickle的引用优化：pickle在序列化Python对象时，如果多个地方引用了同一个内存对象，它只会存储一次对象内容，然后用引用指向它，这在特定场景下能显著减小文件大小。强制复制的后果：如果在使用pickle序列化前，通过.copy()等方式强制创建对象的独立副本，pickle将无法利用引用优化，导致文件大小急剧增加。Numpy数组压缩方案：对于需要减小Numpy数组文件大小的场景，务必使用numpy.savez_compressed函数。它能有效压缩数据，是Numpy官方推荐的压缩存储方式。数据类型选择：始终根据数据的实际范围和精度要求，选择最小合适的数据类型（如np.float16, np.int8等），这是优化Numpy数组内存和磁盘占用的基础。
理解这些底层机制，有助于我们更有效地管理和优化大规模数据集的存储，避免因误解而导致的性能或空间浪费问题。在选择存储方案时，不仅要考虑数据类型和结构，还要考虑序列化工具的特性以及数据本身的重复性。
以上就是Numpy数组与Python列表：意外的存储大小差异及其优化策略的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/923273.html
微信扫一扫 
支付宝扫一扫 
