本文深入探讨了Numpy数组在文件存储时可能比等效Python列表更大的原因，打破了Numpy总是更节省内存的普遍认知。核心在于Numpy的np.save默认存储原始二进制数据不进行压缩，而Python的pickle机制在遇到重复对象时会存储引用而非副本，从而在特定场景下导致文件大小差异。文章提供了使用numpy.savez_compressed进行Numpy数组压缩的解决方案，并揭示了Python列表通过显式复制来避免意外小文件大小的方法。
理解Numpy数组的存储机制
Numpy数组以其高效的内存使用和快速的数值计算能力而闻名。然而，这种效率主要体现在内存中的数据结构和计算操作上，而非默认的文件存储方式。当使用np.save函数保存Numpy数组时，它通常会以原始的二进制格式存储数据，不进行任何压缩。这意味着文件大小直接取决于数组的维度、数据类型（dtype）以及元素数量。
以一个10000 x 10000 x 7的np.float16类型数组为例：
数组维度：10000 * 10000 * 7数据类型：np.float16，每个元素占用2字节（16位）总大小计算：10000 * 10000 * 7 * 2 字节 = 1,400,000,000 字节 ≈ 1.4 GB
这个计算结果与实际观察到的1.4GB文件大小完全吻合。np.save保存的就是这种未经压缩的原始数据。
Python列表与Pickle的“引用”优化
与Numpy的原始数据存储不同，Python的pickle模块在序列化对象时，会尝试优化存储空间。当序列化一个包含多个对同一对象的引用的数据结构时，pickle不会重复存储这些对象的完整副本，而是只存储一份对象数据，并在其他地方存储对该对象的引用。
立即学习“Python免费学习笔记（深入）”；
在示例场景中，all_games是一个包含多个7元素浮点数列表的列表。当通过random.choice(all_games)来构建sampled_data时，如果all_games中的元素（即那些7元素列表）被重复选中，pickle会检测到这一点。它会为每个独特的7元素列表存储一次其内容，而对于后续出现的相同列表，则只存储一个指向已存储内容的引用。
考虑以下Python列表生成方式：
import randomimport pickleimport numpy as np# 假设 all_games 包含一些独特的7元素列表# 例如：all_games = [[float(i) for i in range(7)] for _ in range(100)]# 如果 all_games 元素数量远小于 SAMPLE * DRAW，则重复引用的可能性很高def sample_games_list_pickle(all_games, file_name='sampled_list.pkl'): DRAW = 10000 SAMPLE = 10000 # 这里的 random.choice(all_games) 可能会重复选择 all_games 中的同一个子列表对象 sampled_data = [[random.choice(all_games) for _ in range(DRAW)] for _ in range(SAMPLE)] with open(file_name, 'wb') as file: pickle.dump(sampled_data, file) print(f"Pickled list saved to {file_name}")# 示例调用 (需要先定义 all_games)# all_games_example = [[float(j) for j in range(7)] for _ in range(100)] # 假设只有100个独特的子列表# sample_games_list_pickle(all_games_example, 'sampled_list_optimized.pkl')
在这种情况下，如果all_games中只有少数几个独特的7元素列表被反复选中，pickle文件将远小于预期，因为它只存储了这些独特列表的内容以及大量的内部引用。这就是为什么500MB的pickle文件会比1.4GB的Numpy数组小得多的原因。
强制Python列表存储副本
为了验证pickle的这种引用优化行为，我们可以修改Python列表的生成方式，强制每次都存储一个独立的副本。通过在random.choice(all_games)的结果上调用.copy()，我们可以确保sampled_data中的每个7元素列表都是一个全新的对象，即使它们的内容可能相同。
import randomimport pickledef sample_games_list_pickle_with_copy(all_games, file_name='sampled_list_copied.pkl'): DRAW = 10000 SAMPLE = 10000 # 显式复制子列表，强制 pickle 存储所有副本 sampled_data = [[random.choice(all_games).copy() for _ in range(DRAW)] for _ in range(SAMPLE)] with open(file_name, 'wb') as file: pickle.dump(sampled_data, file) print(f"Pickled list with copies saved to {file_name}")# 示例调用 (需要先定义 all_games)# all_games_example = [[float(j) for j in range(7)] for _ in range(100)]# sample_games_list_pickle_with_copy(all_games_example, 'sampled_list_copied.pkl')
如果运行上述代码，你会发现生成的sampled_list_copied.pkl文件大小会急剧增加，可能达到4.4 GB左右。这证实了pickle在没有显式复制时，确实利用了对象引用来节省存储空间。
优化Numpy数组的存储大小
为了减小Numpy数组的文件大小，尤其是当数据量较大且需要存储到磁盘时，可以使用numpy.savez_compressed函数。这个函数会将Numpy数组保存为.npz格式，并使用ZIP压缩算法对数据进行压缩。
import numpy as npdef sample_games_numpy_compressed(all_games_list, file_name='sampled_data_compressed.npz'): # 将原始Python列表转换为Numpy数组 all_games_np = np.array(all_games_list, dtype=np.float16) DRAW = 10000 SAMPLE = 10000 rng = np.random.default_rng() # 推荐使用新的随机数生成器 # 生成随机索引 sampled_indices = rng.choice(all_games_np.shape[0], size=(SAMPLE, DRAW), replace=True) # 根据索引获取采样数据 sampled_data = all_games_np[sampled_indices] # 使用 savez_compressed 保存压缩后的Numpy数组 np.savez_compressed(file_name, data=sampled_data) print(f"Compressed Numpy array saved to {file_name}")# 示例调用 (需要先定义 all_games_list)# all_games_list_example = [[float(j) for j in range(7)] for _ in range(100000)] # 假设有10万个独特的子列表# sample_games_numpy_compressed(all_games_list_example, 'sampled_data_compressed.npz')
通过使用np.savez_compressed，生成的.npz文件大小通常会显著小于原始的1.4GB，甚至可能小于500MB的pickle文件，具体取决于数据的可压缩性。
总结与注意事项
Numpy np.save: 默认存储原始二进制数据，不进行压缩。文件大小直接反映数据量和数据类型。Python pickle.dump: 会尝试优化存储，对重复的对象存储引用而非副本。这可能导致文件意外地小，但如果所有对象都是独立的，文件大小会非常大。优化Numpy存储: 使用numpy.savez_compressed是减小Numpy数组文件大小的有效方法。Python列表陷阱: 如果你希望pickle存储所有对象的独立副本（例如，为了避免后续修改一个对象影响到其他“引用”它的地方），请确保在构建列表时显式地进行.copy()操作。选择存储格式:对于需要高性能计算且数据在内存中处理时，Numpy数组是首选。对于磁盘存储，如果数据量大，Numpy的savez_compressed或HDF5等格式更为合适。pickle适用于序列化任意Python对象，但其文件大小和性能可能不如专门的数据格式。在任何情况下，都应根据实际需求（内存、磁盘、读写速度、互操作性等）权衡选择最合适的存储方案。
理解不同数据结构和序列化方法的底层机制，对于高效地处理和存储数据至关重要。
以上就是Numpy数组与Python列表存储大小深度解析：优化与误区的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1375699.html
微信扫一扫 
支付宝扫一扫 
