Golang HTTP并发控制方法与步骤

本文深入解析了Go语言中HTTP并发控制的核心实践——利用容量为N的`chan struct{}`通道作为轻量级信号量，精准限制同时发起的HTTP请求数量；通过在调用`http.Client.Do()`前强制获取通道许可，既避免了资源过载，又实现了零内存开销、语义清晰且高度可控的并发管理，是Golang高并发HTTP场景下简洁高效的标准解法。

Go 里控制 HTTP 请求并发数，核心就一条：别让 http.Do() 同时跑太多。不是靠起多少 goroutine，而是靠在真正发请求前卡住它。

用 chan struct{} 做信号量是最轻量、最可控的方式

标准库没提供信号量，但 make(chan struct{}, N) 就是现成的许可证池——容量 N 就是最大并发数，struct{} 零内存开销，语义也干净。

• 初始化写成 sem := make(chan struct{}, 10)，别用 chan int 或 chan bool，纯属浪费
• 每个 goroutine 在调用 client.Do() 前必须先写 sem （会阻塞直到有空位）
• 释放必须写成 defer func() { ，不能裸写 ，否则 panic 或提前 return 会导致许可永远不归还、后续 goroutine 全卡死
• 别用 len(sem) 判断是否还能进——它返回的是已占用数；可用数是 cap(sem) - len(sem)

限流位置错了等于没限：必须卡在 client.Do() 前一刻

常见错误是把 sem 放在 for 循环里、或 goroutine 启动前——那只是压慢了 goroutine 创建速度，实际 http.Do() 还是可能瞬间涌出上百个连接。

• 正确位置：goroutine 内部、http.NewRequest() 之后、client.Do() 之前
• 错误示范：for _, u := range urls { sem —— 这里限的是“启动”，不是“执行”
• 即使请求失败、超时、panic，只要进了 goroutine 就得归还许可，defer 正好覆盖所有路径

HTTP 客户端配置不调，限流效果大打折扣

光控 goroutine 数量不够，http.Client 自身的连接池默认太保守，高并发下会卡在建连或复用环节。

• MaxIdleConnsPerHost 默认是 2，必须显式设为 100+，否则并发 10 个请求都可能排队等复用连接
• Timeout 必须设，否则单个 DNS 失败或服务无响应会让 goroutine 永久挂起，sem 许可也被锁死
• 别每个请求 new 一个 *http.Client——连接池、DNS 缓存全失效，等于放弃复用
• 记得调 resp.Body.Close()，否则底层 TCP 连接不释放，很快触发 too many open files

要不要加 rate.Limiter？看场景，不是越多越好

如果目标 API 有 QPS 限制（比如每秒最多 10 次），单靠并发数控制不够——10 个并发请求可能在 100ms 内全发出去，直接被限流拒绝。

• rate.NewLimiter(10, 5) 可以保证每秒最多 10 个请求，突发允许 5 个
• 用法是每个请求前调 limiter.Wait(ctx)，它会自动 sleep 等令牌，比自己 sleep 更准
• 和 chan struct{} 不冲突：前者控“速率”，后者控“同时进行数”，生产环境常一起用
• 注意 Wait 可能返回 error（如 ctx 被 cancel），得检查，不能忽略

真正容易被忽略的点是：许可释放必须和请求生命周期严格绑定，且只在 Do() 前后发生；其他地方加锁、改 GOMAXPROCS、调 MaxIdleConns 都只是辅助，不是并发控制本身。

到这里，我们也就讲完了《Golang HTTP并发控制方法与步骤》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！