Golang并发下载实现与优化技巧

本文深入探讨了Go语言中并发下载的高效实现与关键性能优化策略，重点揭示了复用http.Client而非频繁新建实例的必要性——这不仅能避免端口耗尽、DNS缓存失效和重复TLS握手开销，还能通过合理配置MaxIdleConns、MaxIdleConnsPerHost和IdleConnTimeout（如30秒）显著提升连接复用率与稳定性；同时，文章给出了生产级并发控制方案：利用带缓冲channel作为信号量限制并发数（如固定10路），结合sync.WaitGroup确保任务安全完成，从而在高吞吐场景下兼顾性能、资源可控性与系统健壮性。

为什么 http.Client 要复用而不是每次新建

并发下载时如果每个 goroutine 都新建 http.Client，会快速耗尽本地端口（TIME_WAIT 占满）、DNS 缓存失效、TLS 握手重复开销大。默认的 http.DefaultClient 已配置合理的连接池，但更稳妥的是显式构造一个共享的 http.Client，并设置 Transport 的 MaxIdleConns 和 MaxIdleConnsPerHost：

• MaxIdleConns 控制全局空闲连接总数，建议设为 100～500（取决于并发数）
• MaxIdleConnsPerHost 建议至少等于预期并发下载的 host 数量，比如批量下 cdn.example.com 和 api.example.com，就至少设为 20～50
• 不设置 IdleConnTimeout 容易导致连接长期空闲后被中间设备（如 NAT 网关）静默断开，建议设为 30s

如何用 sync.WaitGroup + chan 安全控制并发数

直接启动成百上千 goroutine 容易打爆内存或触发系统级限制（如文件描述符超限）。正确做法是用带缓冲的 chan struct{} 做信号量，配合 sync.WaitGroup 等待全部完成：

sem := make(chan struct{}, 10) // 最多 10 个并发
var wg sync.WaitGroup
<p>for _, url := range urls {
wg.Add(1)
go func(u string) {
defer wg.Done()
sem <- struct{}{}        // 获取令牌
defer func() { <-sem }() // 归还令牌（必须 defer，避免 panic 后漏归还）
downloadFile(u)
}(url)
}</p><p>wg.Wait()
</p>

注意：不要用 runtime.GOMAXPROCS 来“加速”下载 —— I/O 密集型任务不靠更多 P，靠连接复用和合理并发度。

io.Copy 比 io.ReadAll 更适合大文件下载

用 io.ReadAll(resp.Body) 会把整个响应体读进内存，下载 1GB 文件就占 1GB 内存；而 io.Copy 是流式写入，内存占用恒定在几 KB：

out, err := os.Create(filename)
if err != nil {
    return err
}
defer out.Close()
<p>_, err = io.Copy(out, resp.Body) // 直接流式写入磁盘
resp.Body.Close()                 // 必须显式 close，否则连接无法复用
</p>

• 如果需要校验（如 SHA256），用 io.TeeReader 边读边算，避免二次读取
• 务必检查 io.Copy 返回的 error，网络中断时它会返回 net.ErrClosed 或 io.ErrUnexpectedEOF
• 不要忽略 resp.Body.Close() —— 不关会导致连接永远滞留在 idle 状态，最终耗尽 MaxIdleConns

重试逻辑该加在哪里、怎么加才不放大失败

HTTP 层重试不能无脑套在 http.Get 外面，否则可能重复提交 POST 请求。下载场景只对幂等的 GET 请求做重试，且需限制次数与退避：

• 用 backoff.Retry（来自 github.com/cenkalti/backoff/v4）比手写 time.Sleep 更可靠
• 只重试特定错误：net.ErrTimeout、net.ErrTemporary、http.ErrUseLastResponse，不重试 404、403 等客户端错误
• 单个 URL 最多重试 3 次，指数退避起始 100ms，上限 2s
• 重试时要新建 *http.Request，不能复用旧 request（header 可能含过期 auth token）

真正难处理的是部分下载（如服务端突然断连），这时得结合 Range header 和本地文件 Seek 续传 —— 这块逻辑容易出竞态，建议用现成库如 github.com/elliotchance/pie 或自己加文件锁。

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于Golang的相关知识，也可关注golang学习网公众号。