Golang异步日志实现技巧

有志者，事竟成！如果你在学习Golang，那么本文《Golang异步日志写入实现方法》，就很适合你！文章讲解的知识点主要包括，若是你对本文感兴趣，或者是想搞懂其中某个知识点，就请你继续往下看吧~

不能直接用 goroutine 调 log.Printf 写文件，因 *log.Logger 非并发安全，多 goroutine 并发写同一文件会引发竞态，导致日志错乱、截断或丢失。

为什么不能直接用 goroutine 调 log.Printf 写文件

直接起 goroutine 调 log.Printf 看似异步，但若底层是 os.File 且未加锁，多个 goroutine 并发写同一文件会触发竞态（race），日志行可能错乱、截断甚至丢失。Go 标准库的 *log.Logger 本身不是并发安全的——除非你手动包装锁，否则不推荐裸奔。

用 channel + 单独 writer goroutine 实现真正异步日志

核心思路：所有日志调用都先发到一个带缓冲的 chan string，由唯一后台 goroutine 顺序消费并写入磁盘。这样既解耦了业务逻辑与 I/O，又天然避免竞态。

• 缓冲区大小建议设为 1024 或根据 QPS 估算，太小易阻塞调用方，太大占内存
• 务必在程序退出前关闭 channel 并等待 writer 结束，否则日志可能丢失
• 写文件时建议用 os.O_APPEND | os.O_CREATE | os.O_WRONLY 打开，避免覆盖或 truncate

package main
<p>import (
"log"
"os"
"time"
)</p><p>func asyncLogger(logFile string) (chan<- string, func()) {
ch := make(chan string, 1024)
f, err := os.OpenFile(logFile, os.O_APPEND|os.O_CREATE|os.O_WRONLY, 0644)
if err != nil {
log.Fatal(err)
}</p><pre class="brush:php;toolbar:false;">go func() {
    defer f.Close()
    for line := range ch {
        _, _ = f.WriteString(time.Now().Format("2006-01-02 15:04:05") + " " + line + "\n")
        _ = f.Sync() // 确保落盘，可按需去掉提升吞吐
    }
}()

return ch, func() {
    close(ch)
}

}

func main() { logger, shutdown := asyncLogger("app.log") defer shutdown()

logger <- "user login success"
logger <- "db query took 12ms"

}

使用 zap 的 Core + WriteSyncer 更稳妥

手写 channel 容易漏掉错误处理、flush 控制、滚动切割等。生产环境强烈建议用 go.uber.org/zap，它原生支持异步模式，且 WriteSyncer 可自定义——比如把日志先写进 bufio.Writer 缓冲，再定期 flush。

• zap.NewProductionConfig().EncoderConfig.EncodeTime = zapcore.ISO8601TimeEncoder 控制时间格式
• 启用异步只需 zap.WrapCore(func(core zapcore.Core) zapcore.Core { return zapcore.NewTeeCore(core) }) —— 实际更常用的是 zap.AddCaller() + zap.IncreaseLevel() 配合 zapcore.Lock
• 注意：zapcore.Lock 是对 io.WriteSyncer 加锁，不是对整个 Core，所以仍需确保 WriteSyncer 本身线程安全

容易被忽略的坑：panic 时日志丢失、sync 不及时、OOM 风险

异步日志最隐蔽的问题不是写不进去，而是“以为写进去了，其实没落盘”。比如进程 crash 前未 flush，或 channel 满了导致调用方阻塞（尤其在 defer 或 panic recovery 中）。

• panic 时 runtime 会快速终止 goroutine，后台 writer 可能来不及处理 channel 中剩余消息 → 解决方案：注册 signal.Notify 捕获 os.Interrupt 和 syscall.SIGTERM，提前 close channel 并 wait
• 不用 f.Sync() 虽快，但断电或 kill -9 会导致最后几条日志消失 → 权衡点在于是否接受“最多丢 N 秒日志”
• channel 缓冲区过大 + 高频日志 + 小内存机器 → channel 底层 slice 占用持续增长，可能触发 GC 压力 → 建议监控 len(ch)，超阈值打 warning 或丢弃低优先级日志

本篇关于《Golang异步日志实现技巧》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于Golang的相关知识，请关注golang学习网公众号！