Redis Pub/Sub 怎样避免普通频道和模式频道重复消费
来源:17golang原创
时间:2026-11-16 19:23:22 484浏览 收藏
我第一次遇到 Redis Pub/Sub“重复消费”,是在把一个具体频道订阅和一个通配模式放进同一条连接之后:发布者只调用了一次 PUBLISH orders {...},处理器却连续收到两条看起来内容相同的消息。答案是,Redis 并没有把它们当成一次订阅。如果同一客户端同时执行 SUBSCRIBE orders 和 PSUBSCRIBE order.*,频道 orders 同时命中两条订阅,Redis 会分别发送一条 message 和一条 pmessage。
官方地址:https://redis.io/docs/latest/develop/pubsub/
所以,避免重复消费的首选办法不是在业务函数里猜“哪一条是重试”,而是先让订阅拓扑不重叠:同一类业务只选普通频道订阅或模式订阅。只有确实需要兼容两种入口时,才在业务层用稳定的事件 ID 做幂等。还要记住,Pub/Sub 本身是 at-most-once 投递,断线后的消息不会自动补发。
先看清楚:这是匹配重叠,不是 Redis 自动重试
Redis Pub/Sub 把消息发送给频道订阅者。SUBSCRIBE 直接订阅频道名,PSUBSCRIBE 订阅 glob 风格的模式。两种订阅分别维护,Redis 不会因为同一个客户端已经通过频道收到消息,就替它取消模式匹配。
下面的关系会产生两条投递路径:
# 普通订阅只匹配名为 orders 的频道
redis-cli SUBSCRIBE orders
# 模式订阅也会匹配 orders,因为它符合 order.*
redis-cli PSUBSCRIBE order.*
# 一个发布动作足以命中两种订阅
redis-cli PUBLISH orders '{"event_id":"evt-1001","status":"paid"}'
严格说,示例中的两个命令通常要在同一个订阅客户端连接上执行,或者由客户端库在同一个连接上维护。若普通订阅和模式订阅由两个不同业务进程承担,它们各自处理一次可能是设计结果;若两条消息最后进入同一个业务处理器,就会表现成一次事件执行两次。

从消息形状定位重复来源
普通频道消息和模式频道消息的字段不一样,先记录消息类型与来源,再判断是否重复,比只比较 payload 更可靠。
| 消息类型 | 字段形状 | 说明 |
|---|---|---|
message | [message, channel, payload] | 由普通频道订阅命中,第二项是实际频道 |
pmessage | [pmessage, pattern, channel, payload] | 由模式订阅命中,第二项是模式,第三项才是实际频道 |
subscribe / psubscribe | 订阅确认消息 | 不是业务发布,不应交给业务处理器 |
排查时可以暂时把“消息类型、模式、实际频道、业务事件 ID”写入结构化日志。若同一个 event_id 先出现 message,随后又出现 pmessage,并且二者的实际频道相同,基本可以确认是订阅重叠。
// classifyPubSubMessage 只提取消息来源,不在这里执行副作用。
// 这样可以把 message 与 pmessage 的字段差异保留到后续幂等层。
func classifyPubSubMessage(values []any) (kind, pattern, channel, payload string, ok bool) {
// Redis 推送消息的第一个元素描述消息类型。
if len(values) == 0 {
return "", "", "", "", false
}
kind, ok = values[0].(string)
if !ok {
return "", "", "", "", false
}
switch kind {
case "message":
// 普通消息的顺序是:类型、实际频道、负载。
if len(values) != 3 {
return "", "", "", "", false
}
channel, ok = values[1].(string)
if !ok {
return "", "", "", "", false
}
payload, ok = values[2].(string)
return kind, "", channel, payload, ok
case "pmessage":
// 模式消息多一个 pattern:类型、模式、实际频道、负载。
if len(values) != 4 {
return "", "", "", "", false
}
pattern, ok = values[1].(string)
if !ok {
return "", "", "", "", false
}
channel, ok = values[2].(string)
if !ok {
return "", "", "", "", false
}
payload, ok = values[3].(string)
return kind, pattern, channel, payload, ok
default:
// subscribe 等控制消息不属于业务事件。
return "", "", "", "", false
}
}
这个判断只负责识别形状,不等于已经完成幂等。不要用“内容完全相同”作为唯一去重键:两次合法业务事件可能恰好有相同的状态值,而同一事件的 payload 也可能因为序列化顺序不同而不完全相同。
最稳妥的办法:让订阅范围不重叠
如果业务只处理订单事件,最简单的设计是直接订阅一个明确频道;如果需要按租户或事件类型动态扩展,才使用模式订阅。不要为了“以后可能增加频道”而在同一个处理器上同时保留两套入口。
| 业务需求 | 建议 | 原因 |
|---|---|---|
| 只处理一个固定频道 | 只用 SUBSCRIBE orders | 消息来源单一,最容易观察和限权 |
| 处理一组同前缀频道 | 只用 PSUBSCRIBE order.* | 让模式订阅承担完整范围,不再重复订阅具体频道 |
| 固定业务与通配业务是两个独立消费者 | 拆成不同连接和不同处理器 | 把“收到两次”变成两个明确的业务责任,而不是同一函数重复执行 |
| 需要可靠重放和消费确认 | 评估 Redis Streams | Pub/Sub 断线丢消息,不能靠重复订阅弥补可靠性 |
订阅模式也要按实际频道命名空间设计。例如固定频道是 orders,而模式写成 order.*,两者就可能重叠;如果确实要区分用途,可以让模式只匹配 orders.region.* 这类不会覆盖固定频道的命名空间。
两种订阅都要保留时怎样做幂等
有些迁移期确实需要同时兼容普通订阅和模式订阅,例如旧消费者只能订阅固定频道,新消费者需要监听一组频道。这时不要依赖 Redis 帮你去重,而是让每条业务事件携带稳定的 event_id,在执行副作用前做一次原子占位。
// handleEvent 通过 event_id 把两种订阅路径汇合到同一个幂等入口。
// seenStore 的 SetNX 需要有过期时间,避免去重键无限增长。
func handleEvent(ctx context.Context, msg PubSubMessage, seenStore SeenStore) error {
if msg.EventID == "" {
// 没有稳定事件 ID 时不要伪造“恰好一次”,应拒绝或转入人工补偿路径。
return errors.New("missing event_id")
}
first, err := seenStore.SetNX(ctx, "pubsub:seen:"+msg.EventID, "1", 24*time.Hour)
if err != nil {
// 去重存储不可用时不继续执行副作用,避免放大重复风险。
return fmt.Errorf("reserve event id: %w", err)
}
if !first {
// message 与 pmessage 可能指向同一个事件,第二次只记录并跳过。
return nil
}
// 只有成功占位的路径才执行发送邮件、扣库存等业务副作用。
return processBusinessEvent(ctx, msg)
}
这里有一个必须正视的边界:先写去重键、后执行副作用,并不能凭空制造事务。如果进程在占位成功后立刻崩溃,事件可能被标记为已处理但副作用没有完成;如果先执行副作用再写去重键,又可能在崩溃重试时重复执行。涉及扣款、库存或外部 API 时,应把幂等键下沉到真正产生副作用的系统,或使用带状态的业务表和补偿流程。

连接状态、订阅计数和可靠性边界
订阅确认消息里的计数包含频道和模式订阅的总数。只取消普通频道,不代表连接已经退出订阅状态;只要仍有模式订阅,连接依旧处于订阅状态。重连代码如果把旧订阅列表和新订阅列表叠加,也可能制造新的重叠。
// resetSubscriptions 在重连后先清空本地状态,再按唯一集合恢复订阅。
// 这样不会把旧连接记录误当成新连接已经生效的订阅。
func resetSubscriptions(ctx context.Context, client Subscriber) error {
// 先取消旧的模式和频道记录,忽略“已经不存在”的本地状态。
if err := client.Unsubscribe(ctx, "orders"); err != nil {
return fmt.Errorf("unsubscribe channel: %w", err)
}
if err := client.PUnsubscribe(ctx, "order.*"); err != nil {
return fmt.Errorf("punsubscribe pattern: %w", err)
}
// 生产配置只选择一条路径;示例选择模式订阅。
if err := client.PSubscribe(ctx, "order.*"); err != nil {
return fmt.Errorf("psubscribe pattern: %w", err)
}
return nil
}
另外,Pub/Sub 与 Redis key 的数据库编号没有隔离关系:在一个逻辑数据库发布,订阅者在另一个数据库也能听到。需要环境隔离时,把 production、staging 等前缀纳入频道命名,而不是把数据库编号当成 Pub/Sub 命名空间。
最后再强调一次可靠性边界:Pub/Sub 是 at-most-once。订阅者处理失败或网络断开后,Redis 不会把已经发送过的消息重新发一遍。若业务要求消费确认、失败重试或历史回放,应该比较 Redis Streams,而不是叠加更多频道和模式订阅。
发布前的简短排查清单
- 列出每个连接实际执行过的
SUBSCRIBE与PSUBSCRIBE,检查具体频道是否被某个模式覆盖。 - 记录消息类型、pattern、实际 channel 和
event_id,不要只打印 payload。 - 固定范围只保留一种订阅方式;必须兼容两种方式时,让消息经过同一个幂等门。
- 重连时从声明式配置恢复唯一订阅集合,不要把旧连接状态直接追加到新连接。
- 把 Pub/Sub 的丢消息边界告知业务方;需要确认和重放时改评估 Streams。
常见问题
同一条消息同时出现 message 和 pmessage,Redis 是不是重复发送了?
这是同一客户端的普通订阅和模式订阅都匹配成功的正常结果。两条消息类型不同,模式消息还会带上命中的 pattern。
只在 payload 相同时去重可以吗?
不推荐。相同 payload 可能代表两次不同事件,应该让发布者提供稳定的业务事件 ID,再按事件语义做幂等。
把普通订阅和模式订阅放在两个连接里能解决吗?
它能把连接状态隔离,却不会让两条业务路径自动合并。如果两个连接最终调用同一个副作用函数,仍然需要拆分责任或做幂等。
Redis Pub/Sub 能保证至少消费一次吗?
不能。Pub/Sub 是 at-most-once;需要持久化、确认和重放时,应评估 Redis Streams 等更合适的机制。
把问题归因到“订阅匹配关系”后,处理顺序就清晰了:先消除普通频道与模式频道的重叠,再为迁移期或多入口场景补上业务事件 ID 幂等,最后根据是否需要重放重新选择消息模型。
-
117 收藏
-
426 收藏
-
171 收藏
-
113 收藏
-
195 收藏
-
241 收藏
-
342 收藏
-
269 收藏
-
434 收藏
-
278 收藏
-
155 收藏
-
405 收藏
-
213 收藏
-
101 收藏
-
311 收藏
-
483 收藏
-
379 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 485次学习