Python memoryview.cast 怎么处理二进制协议：格式字符串、连续性与字节序边界

读取设备帧、日志文件或自定义缓存协议时，最容易被忽略的不是“能不能把 bytes 解出来”，而是解码过程中有没有偷偷复制整块数据。Python 的 memoryview.cast() 可以把同一块缓冲区换一种元素视图来访问，但它不会替你检查协议长度、字节序或字段含义。把这几个边界补齐后，固定长度记录就能做到少一次复制、少一层临时对象。

先看清 memoryview.cast 改变了什么

memoryview 是一扇窗口，底层对象仍然是 bytearray、bytes 或其他缓冲区。下面的代码把 16 个字节看成 4 个无符号整数，过程中没有新建一份 16 字节的副本：

raw = bytearray(b"\x01\x00\x00\x00\x02\x00\x00\x00\x03\x00\x00\x00\x04\x00\x00\x00")
view = memoryview(raw)
words = view.cast("I")

print(words.format, words.itemsize, len(words))
print(list(words))
words[1] = 20
print(raw[4:8])  # bytearray(b'\x14\x00\x00\x00')

这里的 I 是本机无符号整数格式，适合处理本机内部缓冲区，不适合作为跨平台协议的完整约定。cast() 返回的视图仍然受底层缓冲区生命周期影响，不能把它当成脱离原始数据的独立列表。

固定长度记录要先过三道门

假设协议每条记录由 4 个 32 位字段组成：版本号、设备号、时间戳和状态值。每条记录 16 字节，输入可能包含多条记录。不要直接调用 cast()，先把长度和布局写成可读的检查：

RECORD_SIZE = 16

def record_view(buffer):
    view = memoryview(buffer)
    if not view.c_contiguous:
        raise ValueError("协议输入必须是 C 连续缓冲区")
    if len(view) % RECORD_SIZE != 0:
        raise ValueError("数据长度不是完整记录的整数倍")
    return view.cast("B")

payload = record_view(raw)
for offset in range(0, len(payload), RECORD_SIZE):
    chunk = payload[offset:offset + RECORD_SIZE]
    print(chunk.tobytes())

第一道门是连续性。切片、转置或某些第三方数组视图可能不是 C 连续布局；第二道门是整条记录不能被截断；第三道门是字段宽度必须和协议文档一致。尤其不要只用 len(view) 猜字节数，若视图的格式不是单字节，应该结合 view.nbytes 判断。

字节序不要交给本机环境决定

cast("I") 的整数解释跟本机布局有关，而网络协议通常明确规定小端或大端。更稳的做法是先用 memoryview 保留零拷贝字节窗口，再用 struct.unpack_from() 按协议字节序读取字段：

import struct

HEADER = struct.Struct("

这种组合把两件事分开：memoryview 负责避免切片复制，struct.Struct 负责表达协议字段。代码多了几行，但测试更容易写，也不会因为开发机换了架构而读出不同的整数。

性能收益要用真实输入验证

零拷贝不是自动更快。若后续马上要把每条记录转换成 Python 元组，主要成本仍在解码和对象创建；如果只是做长度检查、批量传给下游 C 扩展或计算校验和，保留视图的收益更明显。建议至少比较三种路径：直接切片、memoryview 切片、视图加 unpack_from()。

import timeit

payload = bytes(16 * 10000)
print(timeit.timeit("payload[160:320]", globals=globals(), number=100000))
print(timeit.timeit("memoryview(payload)[160:320]", globals=globals(), number=100000))

测试时固定输入大小，分别记录峰值内存和吞吐；不要只看一次运行时间。若下游接口最终只接受 bytes，在边界处集中调用一次 tobytes()，通常比循环里反复切片更容易控制。

常见问题

memoryview.cast() 会复制数据吗？

正常情况下它创建的是新的视图，不复制底层缓冲区；但后续调用 tolist()、tobytes() 或构造普通列表时会产生新的对象或字节副本。

为什么 cast("I") 在不同机器上结果不一样？

未显式指定协议字节序时，整数解释依赖本机格式。跨机器数据应使用明确的 struct 格式，例如 或 >I。

非连续切片还能直接 cast 吗？

不能把它当作普通连续缓冲区处理。先检查 c_contiguous；确实需要连续数据时，再在边界处显式复制并记录这次成本。

什么时候不值得使用 memoryview？

数据很小、代码只执行一次，或下游本来就要求 Python 列表时，直接用 struct.unpack 往往更清楚。它更适合批量缓冲区和明确的性能边界。

把解码边界写进测试

最后给长度不足、非连续视图、大小端样本和只读缓冲区各写一个测试。这样 memoryview.cast() 带来的只是访问方式变化，不会悄悄改变协议的事实定义。