Redis Pipeline 降低往返延迟的批量边界

Redis Pipeline 的关键价值是减少客户端与 Redis 之间的往返等待：客户端先把一组命令写入连接，再一次性读取回复。它不会自动让每条命令更快，也不负责把整批命令变成原子操作。批次过大时，服务端需要暂存更多回复，客户端也会占用更多内存；更稳妥的做法是从小批次开始，用实际延迟和失败重试成本逐步调大。

先把 Pipeline 和事务分开

普通请求是“发一条、等一条”。Pipeline 则把多条请求连续写入，最后集中读取回复，因此网络 RTT 较高时收益更明显。Redis 官方文档还特别提醒：服务端在客户端读取前会排队保存回复，所以大量命令不应无界堆积。

Pipeline 适合批量写入、批量读取、删除一组互相独立的键。它不保证批次中的命令不被其他客户端穿插，也不保证遇到一条错误后自动回滚。需要原子性时，要使用客户端提供的事务模式；如果后一条命令依赖前一条读取结果，则应评估 Lua 或服务端脚本。

批大小要同时看延迟、内存和失败粒度

批次不是越大越好。单条命令的参数和回复越大，批次占用的客户端缓冲与 Redis 回复队列越多；批次越大，出现网络中断时需要重试的命令也越多。生产环境可以先从 500 或 1000 条开始，观察 p95/p99 延迟、客户端内存、Redis 处理延迟和单批失败率，再按固定步长增加。这里的数字是工程起点，不是 Redis 的硬性阈值。

用分批 execute 控制资源和错误边界

下面示例使用 redis-py 展示一种可迁移的分批写入方式。每个批次只调用一次 execute，并给批次编号；实际项目应把批次大小、耗时和失败键写入指标或日志。示例把 Pipeline 当作批量传输工具，没有打开事务语义。

import redis

def write_in_batches(client, items, batch_size=1000):
    # 批次大小是资源旋钮，不要把所有输入一次性放进回复队列。
    for batch_no, start in enumerate(range(0, len(items), batch_size), 1):
        batch = items[start:start + batch_size]
        pipe = client.pipeline(transaction=False)
        for key, value in batch:
            # 这些命令彼此独立，适合在同一批中集中发送。
            pipe.set(key, value)
        try:
            # execute 返回与入队顺序对应的结果列表。
            results = pipe.execute(raise_on_error=False)
        except redis.RedisError as exc:
            # 连接或整批传输失败：保留批次游标，按幂等策略重试。
            raise RuntimeError(f"批次 {batch_no} 传输失败") from exc

        # 单条命令错误只影响对应结果，记录键和错误类型后再决定补偿。
        for (key, _), result in zip(batch, results):
            if isinstance(result, Exception):
                print(f"批次 {batch_no} 的键 {key} 执行失败：{result}")

如果业务要求“全部成功或全部不生效”，不能只把 transaction=False 改成默认值就结束设计，还要确认事务语义、WATCH 冲突和重试方式。对非幂等写入，批次游标和去重键同样重要，否则重试可能制造重复副作用。

读后写依赖不要硬塞进 Pipeline

例如先读取库存再决定扣减数量，后一条命令需要前一条的真实返回值。Pipeline 会在集中读取前把命令都发出，无法像普通同步调用那样在客户端中途拿到结果。此时应使用 Redis 事务配合条件检查，或把读、计算、写放入 Lua 脚本；Pipeline 更适合把互不依赖的命令分组传输。

常见问题

Pipeline 能保证命令按顺序执行吗？

同一批命令会按入队顺序返回对应结果，但这不等于跨客户端的原子隔离。需要隔离和条件提交时使用事务或脚本。

批次越大吞吐一定越高吗？

不一定。网络往返减少后，回复排队、内存压力和尾延迟可能成为新瓶颈，应以分位延迟和资源指标共同决定批大小。

单条命令报错要重试整批吗？

先区分整批传输失败和结果列表中的单条错误。只重试失败且可幂等的命令，并保留批次游标，避免重复写入。