本文深入探讨了NumPy数组与Python列表在使用np.save和pickle.dump进行持久化时，文件大小差异的根本原因。核心在于np.save以原始、未压缩格式存储数据，而pickle在特定场景下能通过对象引用优化存储，导致其文件看似更小。教程将详细解释这两种机制，并提供使用numpy.savez_compressed有效减小NumPy数组存储空间的专业方法。
理解NumPy与Pickle的数据存储机制
在处理大量数值数据时，numpy数组因其高效的内存布局和计算性能而广受欢迎。然而，在将numpy数组持久化到磁盘时，其文件大小有时会超出预期，甚至可能比等效的python列表通过pickle序列化后更大。这背后的原因在于它们各自的存储机制。
NumPy的原始数据存储
当使用np.save函数保存NumPy数组时，NumPy会以一种原始、未压缩的二进制格式存储数组的数据。这意味着文件大小直接由数组的维度、数据类型（dtype）和元素数量决定。
以一个10000 x 10000 x 7的np.float16数组为例：
数组维度：10000 10000 7 = 700,000,000 个元素数据类型：np.float16，每个元素占用2字节（16位）总存储空间：700,000,000 * 2 字节 = 1,400,000,000 字节 ≈ 1.4 GB
因此，一个1.4 GB的NumPy数组正是其原始数据大小的精确体现，np.save不会对其进行任何压缩。
Pickle的对象引用优化
Python的pickle模块用于序列化和反序列化Python对象结构。虽然pickle本身不提供数据压缩功能，但在某些特定场景下，它能够通过对象引用来优化存储。
考虑以下生成列表的示例代码：
import randomimport pickledef sample_games_list(all_games_original, file_name): DRAW = 10000 SAMPLE = 10000 # 注意：这里 random.choice(all_games_original) 返回的是对原始列表中子列表的引用 sampled_data = [[random.choice(all_games_original) for _ in range(DRAW)] for _ in range(SAMPLE)] with open(file_name, 'wb') as file: pickle.dump(sampled_data, file)# 假设 all_games_original 是一个包含7个浮点数的子列表的列表# 例如：all_games_original = [[float(i) for i in range(7)] for _ in range(N)]
在这个示例中，sampled_data列表的每个内部子列表 (random.choice(all_games_original)) 实际上是原始all_games_original列表中某个子列表的引用，而不是一个新的独立副本。pickle在序列化时，能够识别并利用这种对象引用关系。它只会存储原始子列表一次，然后多次引用它，从而显著减少了序列化后的文件大小。
如果强制pickle存储每个子列表的独立副本，文件大小会急剧增加。例如，通过添加.copy()方法：
import randomimport pickledef sample_games_list_with_copy(all_games_original, file_name): DRAW = 10000 SAMPLE = 10000 # 强制复制子列表，不再是引用 sampled_data = [[random.choice(all_games_original).copy() for _ in range(DRAW)] for _ in range(SAMPLE)] with open(file_name, 'wb') as file: pickle.dump(sampled_data, file)
在这种情况下，pickle将被迫为每个内部子列表存储其完整的独立内容，这会导致文件大小变得非常庞大（根据经验估计，可能达到4.4 GB左右，远超NumPy的1.4 GB）。这清晰地揭示了pickle在处理对象引用时的优化机制，它并非真正的“压缩”，而是利用了Python对象模型的特性。
优化NumPy数组的存储空间
既然np.save不压缩数据，那么对于需要减小NumPy数组文件大小的场景，我们可以使用numpy.savez_compressed函数。
numpy.savez_compressed会将一个或多个NumPy数组以.npz格式保存，并使用zipfile模块进行压缩。这通常能显著减小文件大小，特别是在数据存在重复模式或可以被高效压缩的情况下。
以下是如何使用numpy.savez_compressed的示例：
import numpy as npdef sample_games_compressed_numpy(all_games_original, file_name): # 将原始列表转换为NumPy数组 all_games_array = np.array(all_games_original, dtype=np.float16) DRAW = 10000 SAMPLE = 10000 # 初始化随机数生成器 rng = np.random.default_rng() # 生成随机索引 sampled_indices = rng.choice(all_games_array.shape[0], size=(SAMPLE, DRAW), replace=True) # 根据索引获取采样数据 sampled_data = all_games_array[sampled_indices] # 使用 savez_compressed 保存压缩后的NumPy数组 # 文件名通常以 .npz 结尾 np.savez_compressed(file_name + '.npz', sampled_data=sampled_data)# 示例使用（假设 all_games_original 已定义）# N = 100 # 假设原始列表有N个子列表# all_games_original = [[float(j) for j in range(7)] for i in range(N)]# sample_games_compressed_numpy(all_games_original, 'compressed_numpy_data')
通过使用np.savez_compressed，您将能够获得一个比原始np.save文件小得多的.npz文件，同时仍然保持NumPy数组的优点，如快速加载和高效的后续计算。
注意事项与最佳实践
选择正确的存储方式：
np.save： 适用于不需要压缩、对加载速度有极高要求、或数据本身难以被有效压缩的场景。它提供了最快的加载速度，因为数据可以直接从磁盘映射到内存。np.savez_compressed： 当存储空间是一个关键考虑因素时，这是保存NumPy数组的首选方法。它在文件大小和加载速度之间取得了良好的平衡。pickle.dump： 主要用于序列化复杂的Python对象结构，而不仅仅是原始数值数据。对于纯数值数据，NumPy的存储方式通常更优。
压缩的代价： 压缩和解压缩数据需要额外的CPU时间。虽然numpy.savez_compressed通常效率很高，但对于极端性能敏感的应用，这种额外的开销可能需要权衡。
数据类型选择： 仔细选择NumPy数组的数据类型（dtype）对内存和磁盘占用至关重要。例如，np.float16比np.float32或np.float64节省一半或四分之三的空间，但会牺牲精度。根据数据范围和精度要求做出明智选择。
理解pickle的优化： pickle在处理重复对象引用时的行为是一个重要的细节，它解释了为什么在某些情况下，一个看似低效的Python列表序列化后文件反而更小。但这并不意味着pickle是存储大量数值数据的通用高效方案。对于数值数据，NumPy的工具链依然是首选。
总结
NumPy数组的np.save函数以原始、未压缩的格式存储数据，其文件大小直接反映了数据在内存中的占用。相比之下，pickle.dump在序列化包含重复引用的Python列表时，能够通过对象引用优化存储，从而产生更小的文件。然而，这并非真正的压缩，且在强制复制对象时，pickle文件会变得非常庞大。为了有效减小NumPy数组的存储空间，应优先使用numpy.savez_compressed函数，它能提供良好的压缩效果，同时保持NumPy数组的优势。在实际应用中，理解这些存储机制并根据具体需求选择合适的工具和策略至关重要。
以上就是深入解析NumPy与Pickle的数据存储差异及优化策略的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1375785.html
微信扫一扫 
支付宝扫一扫 
