python序列化的原理和作用_数据存储、传输与状态保存机制详解

一分耕耘，一分收获！既然打开了这篇文章《python序列化的原理和作用_数据存储、传输与状态保存机制详解》，就坚持看下去吧！文中内容包含等等知识点...希望你能在阅读本文后，能真真实实学到知识或者帮你解决心中的疑惑，也欢迎大佬或者新人朋友们多留言评论，多给建议！谢谢！

Python序列化本质是对象到字节流的保真映射，依赖__reduce__等钩子生成指令流；pickle支持复杂类型但仅限Python环境，json跨语言但类型受限；反序列化不可信pickle存在远程代码执行风险。

Python序列化本质是对象到字节流的映射规则

Python本身不直接“存储对象”，而是把内存中的对象结构（类型、属性、引用关系）按约定规则转成一串可保存或传输的bytes。核心不是压缩或加密，而是**保真还原**：反序列化后得到的对象行为和原对象一致（除部分不可序列化对象外）。这依赖于每个类型注册的__reduce__或__getstate__等钩子函数，pickle模块据此生成操作指令流（如“新建一个dict”“往第0个位置塞key='a'”“调用datetime.datetime构造器”）。

常见误区是认为序列化=转成JSON。其实json只支持有限类型（dict、list、str、int、float、bool、None），而pickle能处理lambda、类实例、文件句柄（虽不推荐）、自定义__slots__类等——代价是只能在Python环境间安全使用。

选pickle还是json取决于数据用途和信任边界

跨语言传输（如Python服务给JS前端发数据）必须用json；内部微服务间状态同步、任务队列参数传递、缓存计算结果，则优先用pickle（尤其v5协议支持共享内存和大对象零拷贝）。

• json.dumps(obj)失败时会报TypeError: Object of type X is not JSON serializable，需手动实现default参数或继承json.JSONEncoder
• pickle.dumps(obj)遇到文件对象、线程锁、数据库连接等会抛AttributeError或TypeError，因为这些对象无法脱离当前进程存活
• pickle协议版本差异大：v0-v2不支持新语法（如带__slots__的类）；v4起支持bytearray；v5新增out_of_band数据分离机制，适合大数据集

自定义类序列化要显式控制状态边界

默认情况下pickle会尝试保存整个__dict__，但很多字段不该持久化（如临时缓存、外部连接、GUI句柄）。正确做法是实现__getstate__和__setstate__：

class CacheManager:
    def __init__(self):
        self.data = {}
        self._cache = {}  # 不该被序列化
        self._lock = threading.Lock()  # 不可序列化
<pre class="brush:php;toolbar:false"><code>def __getstate__(self):
    state = self.__dict__.copy()
    state.pop('_cache', None)
    state.pop('_lock', None)
    return state

def __setstate__(self, state):
    self.__dict__.update(state)
    self._cache = {}
    self._lock = threading.Lock()</code>

注意：__slots__类必须在__getstate__中显式构造字典，否则pickle可能因找不到__dict__而失败；若类有C扩展属性（如NumPy数组），通常无需干预——它们已内置序列化逻辑。

反序列化是执行风险点，永远别加载不可信来源的pickle数据

pickle流本质是Python字节码指令，pickle.loads()会执行其中的类构造、方法调用甚至os.system()。攻击者可构造恶意流触发任意代码执行。生产环境必须遵守：

• 仅从可信路径加载.pkl文件（如本地配置目录，且文件权限为600）
• 网络传输场景改用json或msgpack（需确认其反序列化不执行代码）
• 万不得已需用pickle时，用RestrictedUnpickler白名单机制限制可实例化的类

真正难处理的是“半可信”场景：比如用户上传的分析脚本附带预训练模型（.pkl）。此时不能只靠文件后缀判断，得结合签名验证+沙箱执行+资源限额——序列化本身不提供安全隔离，它只是数据载体。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《python序列化的原理和作用_数据存储、传输与状态保存机制详解》文章吧，也可关注golang学习网公众号了解相关技术文章。