在Python中，要序列化对象，我们通常会用到内置的
pickle
模块。它能将几乎任何Python对象（包括自定义类实例、函数等）转换成字节流，方便存储到文件或通过网络传输；反过来，也能将这些字节流还原回原始的Python对象。这对于需要持久化Python特有数据结构的应用场景非常有用。
解决方案
使用
pickle
模块进行序列化和反序列化主要涉及四个核心函数：
dump
、
load
、
dumps
和
loads
。
如果你想将对象序列化到文件中：
import pickleclass MyObject: def __init__(self, name, value): self.name = name self.value = value self.data = [i for i in range(value)] # 模拟一些数据 def greet(self): return f"Hello, {self.name}!"# 创建一个对象实例obj = MyObject("Alice", 10)print(f"Original object: {obj.name}, {obj.value}, data length: {len(obj.data)}")print(f"Original object method call: {obj.greet()}")# 序列化对象到文件file_path = "my_object.pkl"try: with open(file_path, 'wb') as f: # 'wb' 表示以二进制写入模式打开文件 pickle.dump(obj, f) print(f"Object successfully pickled to {file_path}")except Exception as e: print(f"Error during pickling: {e}")# 从文件反序列化对象deserialized_obj = Nonetry: with open(file_path, 'rb') as f: # 'rb' 表示以二进制读取模式打开文件 deserialized_obj = pickle.load(f) print(f"Object successfully unpickled from {file_path}") print(f"Deserialized object: {deserialized_obj.name}, {deserialized_obj.value}, data length: {len(deserialized_obj.data)}") print(f"Deserialized object method call: {deserialized_obj.greet()}")except Exception as e: print(f"Error during unpickling: {e}")# 检查反序列化后的对象是否与原始对象一致print(f"Are objects equal (value-wise)? {deserialized_obj.name == obj.name and deserialized_obj.value == obj.value}")
如果你只是想将对象序列化成字节串（例如，用于内存中传递或存储到数据库字段）：
立即学习“Python免费学习笔记（深入）”；
import pickledata = {'key': 'value', 'numbers': [1, 2, 3]}# 序列化成字节串pickled_data = pickle.dumps(data)print(f"Pickled data (bytes): {pickled_data}")# 从字节串反序列化unpickled_data = pickle.loads(pickled_data)print(f"Unpickled data: {unpickled_data}")print(f"Are data equal? {data == unpickled_data}")
pickle
还支持不同的协议版本，通常建议使用较新的协议，它们通常更高效，例如
pickle.HIGHEST_PROTOCOL
或
pickle.DEFAULT_PROTOCOL
。在
dump
或
dumps
时可以通过
protocol
参数指定：
pickle.dump(obj, f, protocol=pickle.HIGHEST_PROTOCOL)
。
Pickle序列化真的安全吗？有哪些潜在风险？
老实说，每次看到有人盲目地反序列化未知来源的
pickle
数据，我都会替他们捏一把汗。
pickle
模块在安全性方面，有一个非常关键且常常被忽视的“缺陷”：它不是为安全而设计的。它的主要目标是方便地在Python对象之间进行持久化和传输，而不是作为一种安全的数据交换格式。
最大的潜在风险在于任意代码执行。当
pickle
反序列化一个对象时，它实际上是在执行Python代码来重建那个对象。这意味着，如果一个恶意用户能够篡改或提供一个恶意的
pickle
字节流，当你的程序对其进行
pickle.load()
或
pickle.loads()
操作时，他就可以在你的系统上执行任意的Python代码。这几乎等同于给攻击者一个远程代码执行（RCE）的权限，后果不堪设想。
想象一下，你从网络上下载了一个看似无害的
pickle
文件，或者从一个不安全的数据库字段读取了
pickle
数据，然后你的Python程序将其反序列化。如果这个
pickle
数据被精心构造过，它可能会调用
os.system()
来删除你的文件，或者执行其他恶意命令。这听起来有点夸张，但确实是
pickle
的真实能力。
因此，我的个人观点是：绝不要反序列化来自不受信任或未经认证来源的
pickle
数据。如果你无法完全信任数据的来源，那么
pickle
就不是你的选择。对于跨语言的数据交换，或者需要更高安全性的场景，JSON、YAML、Protocol Buffers或MessagePack等格式会是更好的替代品，它们通常只序列化数据结构，而不包含执行代码的能力。如果你真的需要在Python内部存储或传输复杂对象，并且确信数据来源安全，那么
pickle
依然是一个高效且方便的工具。
Pickle和JSON、YAML这些常见的序列化方式有什么不同？
pickle
、JSON和YAML这三者，虽然都能实现数据的序列化，但它们的设计哲学、应用场景和能力边界却大相径庭。我常常把它们比作不同的“语言”，各自有其擅长的领域。
pickle
是Python专属的序列化协议。它的核心优势在于能够序列化几乎所有Python对象，包括自定义类的实例、函数、方法、甚至是模块引用。这意味着，如果你有一个复杂的Python对象图，
pickle
可以完整地捕获其状态，并在反序列化时精确地重建它。它保留了Python对象的类型信息和结构，这在Python应用程序内部进行数据持久化或进程间通信时非常方便。缺点也很明显，它不具备跨语言兼容性，你不能用Java或JavaScript程序去解析
pickle
数据。而且，如前所述，它的安全性是个大问题。
JSON（JavaScript Object Notation）则是一种轻量级的数据交换格式，它最初来源于JavaScript，但现在已经成为事实上的通用数据交换标准。JSON的特点是人类可读性强、跨语言兼容性好。它支持基本的数据类型，如字符串、数字、布尔值、列表和字典（对象），但不支持序列化复杂的对象实例、函数或Python特有的数据结构。如果你需要将数据从Python发送给Web前端（JavaScript）、或者与其他编程语言的服务进行通信，JSON是首选。它简单、安全（因为它只表示数据，不包含代码），但对于Python对象内部的复杂性，它就无能为力了。
YAML（YAML Ain’t Markup Language）可以看作是JSON的一个超集，它同样是人类可读且跨语言兼容的。YAML的语法比JSON更简洁，更适合作为配置文件。它也支持类似JSON的基本数据类型和结构，并且可以表示更复杂的嵌套和引用。在某些方面，YAML比JSON更强大，例如它支持注释，并且对列表和字典的表示方式更加灵活。然而，和JSON一样，YAML也无法序列化Python特有的对象实例、函数等。它主要用于配置文件、数据交换，尤其是在需要高度可读性的场景。
简而言之：
pickle
：Python内部对象持久化和传输的利器，功能强大，但仅限Python，且存在严重安全风险。JSON：跨语言数据交换的通用标准，简单、安全、人类可读，但功能受限，无法处理复杂Python对象。YAML：配置文件和数据交换的优雅选择，比JSON更强大、更易读，但同样无法处理复杂Python对象。
选择哪种方式，完全取决于你的具体需求和应用场景。
处理大型Python对象时，Pickle的性能和内存占用如何优化？
当我们需要序列化和反序列化大型Python对象时，性能和内存占用确实是需要仔细考虑的问题。我曾经遇到过因为
pickle
大对象导致内存飙升，甚至OOM（Out Of Memory）的情况，这可不是什么愉快的经历。
首先，选择合适的
pickle
协议版本至关重要。
pickle
模块提供了多个协议版本，较新的协议通常在性能和序列化大小上都有显著改进。例如，协议4（Python 3.4+）和协议5（Python 3.8+）比旧版本更高效，尤其是在处理大型数据结构时。
import pickleimport syslarge_list = list(range(1000000)) # 一个一百万元素的列表# 使用默认协议（通常是最高协议）pickled_default = pickle.dumps(large_list)print(f"Default protocol size: {sys.getsizeof(pickled_default)} bytes")# 明确使用协议4pickled_protocol_4 = pickle.dumps(large_list, protocol=4)print(f"Protocol 4 size: {sys.getsizeof(pickled_protocol_4)} bytes")# 明确使用协议5 (如果Python版本支持)if sys.version_info >= (3, 8): pickled_protocol_5 = pickle.dumps(large_list, protocol=5) print(f"Protocol 5 size: {sys.getsizeof(pickled_protocol_5)} bytes")
通过指定
protocol=pickle.HIGHEST_PROTOCOL
，可以确保总是使用当前Python版本支持的最优协议。
其次，控制序列化内容。不是对象的所有属性都必须被序列化。有时候，一个对象可能包含一些瞬态（transient）的数据，或者一些可以通过其他方式重建的数据。通过实现
__getstate__
和
__setstate__
方法，我们可以精确地控制
pickle
在序列化和反序列化时包含哪些数据。
import pickleclass DataProcessor: def __init__(self, data_source): self.raw_data = data_source # 假设这是个巨大的原始数据 self.processed_cache = None # 这是一个计算结果，可以重新生成 def process(self): if self.processed_cache is None: print("Processing raw data...") self.processed_cache = [x * 2 for x in self.raw_data] # 模拟耗时计算 return self.processed_cache def __getstate__(self): # 只序列化 raw_data，不序列化 processed_cache # 这样可以减少序列化大小，并在反序列化后按需重新计算 state = {'raw_data': self.raw_data} return state def __setstate__(self, state): self.raw_data = state['raw_data'] self.processed_cache = None # 反序列化后，缓存清空，按需重新计算# 创建一个处理器实例processor = DataProcessor(list(range(10000)))processor.process() # 第一次计算并缓存# 序列化pickled_processor = pickle.dumps(processor)print(f"Pickled processor size: {sys.getsizeof(pickled_processor)} bytes")# 反序列化deserialized_processor = pickle.loads(pickled_processor)print(f"Deserialized processor raw_data length: {len(deserialized_processor.raw_data)}")# 此时 processed_cache 应该为 Noneprint(f"Deserialized processor processed_cache is None: {deserialized_processor.processed_cache is None}")deserialized_processor.process() # 再次调用时会重新计算
这种方式特别适用于那些缓存了大量计算结果的对象，或者包含文件句柄、网络连接等不可序列化资源的场景。
最后，考虑使用专门的库。对于大型的NumPy数组、Pandas DataFrame等科学计算数据，
pickle
虽然可以工作，但通常不是最高效的选择。像
joblib
这样的库，它在底层优化了NumPy数组的序列化，可以比
pickle
更快、更节省空间。
joblib.dump
和
joblib.load
的API与
pickle
非常相似，但对于数值数据，它能提供更好的性能。这是一种“术业有专攻”的思路，遇到特定类型的大数据时，不妨寻找专门的工具。
以上就是python中如何使用pickle序列化对象？的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1370736.html
微信扫一扫 
支付宝扫一扫 
