登录
推荐 文章 Go 技术 课程 下载 专题 AI
首页 >  数据库 >  Redis

Redis Pub/Sub 怎样避免普通频道和模式频道重复消费

来源:17golang原创

时间:2026-11-16 19:23:22 484浏览 收藏

我第一次遇到 Redis Pub/Sub“重复消费”,是在把一个具体频道订阅和一个通配模式放进同一条连接之后:发布者只调用了一次 PUBLISH orders {...},处理器却连续收到两条看起来内容相同的消息。答案是,Redis 并没有把它们当成一次订阅。如果同一客户端同时执行 SUBSCRIBE orders 和 PSUBSCRIBE order.*,频道 orders 同时命中两条订阅,Redis 会分别发送一条 message 和一条 pmessage。

官方地址:https://redis.io/docs/latest/develop/pubsub/

所以,避免重复消费的首选办法不是在业务函数里猜“哪一条是重试”,而是先让订阅拓扑不重叠:同一类业务只选普通频道订阅或模式订阅。只有确实需要兼容两种入口时,才在业务层用稳定的事件 ID 做幂等。还要记住,Pub/Sub 本身是 at-most-once 投递,断线后的消息不会自动补发。

先看清楚:这是匹配重叠,不是 Redis 自动重试

Redis Pub/Sub 把消息发送给频道订阅者。SUBSCRIBE 直接订阅频道名,PSUBSCRIBE 订阅 glob 风格的模式。两种订阅分别维护,Redis 不会因为同一个客户端已经通过频道收到消息,就替它取消模式匹配。

下面的关系会产生两条投递路径:

# 普通订阅只匹配名为 orders 的频道
redis-cli SUBSCRIBE orders

# 模式订阅也会匹配 orders,因为它符合 order.*
redis-cli PSUBSCRIBE order.*

# 一个发布动作足以命中两种订阅
redis-cli PUBLISH orders '{"event_id":"evt-1001","status":"paid"}'

严格说,示例中的两个命令通常要在同一个订阅客户端连接上执行,或者由客户端库在同一个连接上维护。若普通订阅和模式订阅由两个不同业务进程承担,它们各自处理一次可能是设计结果;若两条消息最后进入同一个业务处理器,就会表现成一次事件执行两次。

Redis 普通频道 orders 与模式 order.* 同时命中并分别投递 message 和 pmessage 的消息流
图1:普通频道与模式频道重叠时的消息流说明图,不是运行截图。

从消息形状定位重复来源

普通频道消息和模式频道消息的字段不一样,先记录消息类型与来源,再判断是否重复,比只比较 payload 更可靠。

消息类型字段形状说明
message[message, channel, payload]由普通频道订阅命中,第二项是实际频道
pmessage[pmessage, pattern, channel, payload]由模式订阅命中,第二项是模式,第三项才是实际频道
subscribe / psubscribe订阅确认消息不是业务发布,不应交给业务处理器

排查时可以暂时把“消息类型、模式、实际频道、业务事件 ID”写入结构化日志。若同一个 event_id 先出现 message,随后又出现 pmessage,并且二者的实际频道相同,基本可以确认是订阅重叠。

// classifyPubSubMessage 只提取消息来源,不在这里执行副作用。
// 这样可以把 message 与 pmessage 的字段差异保留到后续幂等层。
func classifyPubSubMessage(values []any) (kind, pattern, channel, payload string, ok bool) {
	// Redis 推送消息的第一个元素描述消息类型。
	if len(values) == 0 {
		return "", "", "", "", false
	}
	kind, ok = values[0].(string)
	if !ok {
		return "", "", "", "", false
	}

	switch kind {
	case "message":
		// 普通消息的顺序是:类型、实际频道、负载。
		if len(values) != 3 {
			return "", "", "", "", false
		}
		channel, ok = values[1].(string)
		if !ok {
			return "", "", "", "", false
		}
		payload, ok = values[2].(string)
		return kind, "", channel, payload, ok
	case "pmessage":
		// 模式消息多一个 pattern:类型、模式、实际频道、负载。
		if len(values) != 4 {
			return "", "", "", "", false
		}
		pattern, ok = values[1].(string)
		if !ok {
			return "", "", "", "", false
		}
		channel, ok = values[2].(string)
		if !ok {
			return "", "", "", "", false
		}
		payload, ok = values[3].(string)
		return kind, pattern, channel, payload, ok
	default:
		// subscribe 等控制消息不属于业务事件。
		return "", "", "", "", false
	}
}

这个判断只负责识别形状,不等于已经完成幂等。不要用“内容完全相同”作为唯一去重键:两次合法业务事件可能恰好有相同的状态值,而同一事件的 payload 也可能因为序列化顺序不同而不完全相同。

最稳妥的办法:让订阅范围不重叠

如果业务只处理订单事件,最简单的设计是直接订阅一个明确频道;如果需要按租户或事件类型动态扩展,才使用模式订阅。不要为了“以后可能增加频道”而在同一个处理器上同时保留两套入口。

业务需求建议原因
只处理一个固定频道只用 SUBSCRIBE orders消息来源单一,最容易观察和限权
处理一组同前缀频道只用 PSUBSCRIBE order.*让模式订阅承担完整范围,不再重复订阅具体频道
固定业务与通配业务是两个独立消费者拆成不同连接和不同处理器把“收到两次”变成两个明确的业务责任,而不是同一函数重复执行
需要可靠重放和消费确认评估 Redis StreamsPub/Sub 断线丢消息,不能靠重复订阅弥补可靠性

订阅模式也要按实际频道命名空间设计。例如固定频道是 orders,而模式写成 order.*,两者就可能重叠;如果确实要区分用途,可以让模式只匹配 orders.region.* 这类不会覆盖固定频道的命名空间。

两种订阅都要保留时怎样做幂等

有些迁移期确实需要同时兼容普通订阅和模式订阅,例如旧消费者只能订阅固定频道,新消费者需要监听一组频道。这时不要依赖 Redis 帮你去重,而是让每条业务事件携带稳定的 event_id,在执行副作用前做一次原子占位。

// handleEvent 通过 event_id 把两种订阅路径汇合到同一个幂等入口。
// seenStore 的 SetNX 需要有过期时间,避免去重键无限增长。
func handleEvent(ctx context.Context, msg PubSubMessage, seenStore SeenStore) error {
	if msg.EventID == "" {
		// 没有稳定事件 ID 时不要伪造“恰好一次”,应拒绝或转入人工补偿路径。
		return errors.New("missing event_id")
	}

	first, err := seenStore.SetNX(ctx, "pubsub:seen:"+msg.EventID, "1", 24*time.Hour)
	if err != nil {
		// 去重存储不可用时不继续执行副作用,避免放大重复风险。
		return fmt.Errorf("reserve event id: %w", err)
	}
	if !first {
		// message 与 pmessage 可能指向同一个事件,第二次只记录并跳过。
		return nil
	}

	// 只有成功占位的路径才执行发送邮件、扣库存等业务副作用。
	return processBusinessEvent(ctx, msg)
}

这里有一个必须正视的边界:先写去重键、后执行副作用,并不能凭空制造事务。如果进程在占位成功后立刻崩溃,事件可能被标记为已处理但副作用没有完成;如果先执行副作用再写去重键,又可能在崩溃重试时重复执行。涉及扣款、库存或外部 API 时,应把幂等键下沉到真正产生副作用的系统,或使用带状态的业务表和补偿流程。

Redis message 与 pmessage 字段经过 event_id 幂等门后只保留一次业务处理
图2:消息字段与业务事件幂等入口的结构图,不是客户端截图。

连接状态、订阅计数和可靠性边界

订阅确认消息里的计数包含频道和模式订阅的总数。只取消普通频道,不代表连接已经退出订阅状态;只要仍有模式订阅,连接依旧处于订阅状态。重连代码如果把旧订阅列表和新订阅列表叠加,也可能制造新的重叠。

// resetSubscriptions 在重连后先清空本地状态,再按唯一集合恢复订阅。
// 这样不会把旧连接记录误当成新连接已经生效的订阅。
func resetSubscriptions(ctx context.Context, client Subscriber) error {
	// 先取消旧的模式和频道记录,忽略“已经不存在”的本地状态。
	if err := client.Unsubscribe(ctx, "orders"); err != nil {
		return fmt.Errorf("unsubscribe channel: %w", err)
	}
	if err := client.PUnsubscribe(ctx, "order.*"); err != nil {
		return fmt.Errorf("punsubscribe pattern: %w", err)
	}

	// 生产配置只选择一条路径;示例选择模式订阅。
	if err := client.PSubscribe(ctx, "order.*"); err != nil {
		return fmt.Errorf("psubscribe pattern: %w", err)
	}
	return nil
}

另外,Pub/Sub 与 Redis key 的数据库编号没有隔离关系:在一个逻辑数据库发布,订阅者在另一个数据库也能听到。需要环境隔离时,把 production、staging 等前缀纳入频道命名,而不是把数据库编号当成 Pub/Sub 命名空间。

最后再强调一次可靠性边界:Pub/Sub 是 at-most-once。订阅者处理失败或网络断开后,Redis 不会把已经发送过的消息重新发一遍。若业务要求消费确认、失败重试或历史回放,应该比较 Redis Streams,而不是叠加更多频道和模式订阅。

发布前的简短排查清单

  1. 列出每个连接实际执行过的 SUBSCRIBE 与 PSUBSCRIBE,检查具体频道是否被某个模式覆盖。
  2. 记录消息类型、pattern、实际 channel 和 event_id,不要只打印 payload。
  3. 固定范围只保留一种订阅方式;必须兼容两种方式时,让消息经过同一个幂等门。
  4. 重连时从声明式配置恢复唯一订阅集合,不要把旧连接状态直接追加到新连接。
  5. 把 Pub/Sub 的丢消息边界告知业务方;需要确认和重放时改评估 Streams。

常见问题

同一条消息同时出现 message 和 pmessage,Redis 是不是重复发送了?

这是同一客户端的普通订阅和模式订阅都匹配成功的正常结果。两条消息类型不同,模式消息还会带上命中的 pattern。

只在 payload 相同时去重可以吗?

不推荐。相同 payload 可能代表两次不同事件,应该让发布者提供稳定的业务事件 ID,再按事件语义做幂等。

把普通订阅和模式订阅放在两个连接里能解决吗?

它能把连接状态隔离,却不会让两条业务路径自动合并。如果两个连接最终调用同一个副作用函数,仍然需要拆分责任或做幂等。

Redis Pub/Sub 能保证至少消费一次吗?

不能。Pub/Sub 是 at-most-once;需要持久化、确认和重放时,应评估 Redis Streams 等更合适的机制。

把问题归因到“订阅匹配关系”后,处理顺序就清晰了:先消除普通频道与模式频道的重叠,再为迁移期或多入口场景补上业务事件 ID 幂等,最后根据是否需要重放重新选择消息模型。

声明:本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>