Golang开发FluentBit日志插件教程

你在学习Golang相关的知识吗？本文《Golang实现日志收集器 Fluent Bit插件开发》，主要介绍的内容就涉及到，如果你想提升自己的开发能力，就不要错过这篇文章，大家要知道编程理论基础和实战操作都是不可或缺的哦！

可用Go语言通过Fluent Bit的Go Plugin API开发输出插件实现日志收集，利用out_golang模块加载编译为.so的Go动态库，注册FLBPluginRegister、Init、Flush、Exit函数处理日志，仅支持输出插件。

用 Go 语言开发 Fluent Bit 插件实现日志收集器是可行的，尽管 Fluent Bit 本身是用 C 编写的，但通过其提供的 Go Plugin API，你可以用 Go 编写输出插件（Output Plugin），将日志发送到自定义后端。这得益于 Fluent Bit 的动态插件机制（Dynamic Plugins） 和官方提供的 Go binding 支持。

1. 理解 Fluent Bit 插件机制

Fluent Bit 支持使用 C 编写插件，也支持通过 out_golang 模块加载用 Go 编写的输出插件。核心原理是：

• Fluent Bit 启动时加载一个 Go 编译成的动态库（.so 文件）
• 该库导出特定函数（如 FLBPluginRegister、FLBPluginInit 等）供 Fluent Bit 调用
• Go 插件通过 CGO 包装，调用 Fluent Bit 的 C 接口处理日志数据

你不能用 Go 写输入（Input）或过滤（Filter）插件，目前仅支持输出插件。

2. 开发环境准备

确保以下工具已安装：

• Go 1.18+
• Fluent Bit 2.0+
• gcc 或 clang（用于 CGO 编译）
• pkg-config（可选，但推荐）

安装 Go binding：

go get github.com/fluent/fluent-bit-go/output

3. 编写 Go 插件代码

创建一个 Go 文件，例如 mylogger.go：

package main
import (
"unsafe"
"github.com/fluent/fluent-bit-go/output"
"github.com/json-iterator/go"
)
var json = jsoniter.ConfigCompatibleWithStandardLibrary
//export FLBPluginRegister
func FLBPluginRegister(ctx unsafe.Pointer) int {
return output.FLBPluginRegister(ctx, "mylogger", "Custom Go Logger")
}
//export FLBPluginInit
func FLBPluginInit(ctx unsafe.Pointer) int {
// 可以从配置中读取参数
output.FLBPluginSetContext(ctx, "example-config-value")
return output.FLB_OK
}
//export FLBPluginFlush
func FLBPluginFlush(data unsafe.Pointer, length C.int, tag *C.char) int {
defer output.FLBPluginGolangFlushCtx()
// 解析日志记录
dec := output.NewDecoder(data, int(length))
var result map[interface{}]interface{}

for {
    ret, ts, record := output.GetRecord(dec)
    if ret != 0 {
        break
    }

    // 转换 record 为 map[string]interface{}
    m := make(map[string]interface{})
    for k, v := range record {
        m[k.(string)] = v
    }

    // 添加时间戳
    m["timestamp"] = ts

    // 输出或发送到远程服务（如 Kafka、HTTP、文件等）
    jsonData, _ := json.Marshal(m)
    println("Go Plugin:", string(jsonData))
}

return output.FLB_OK
}
//export FLBPluginExit
func FLBPluginExit() {
println("Go Plugin exited")
}
func main() {}

说明：

• FLBPluginRegister：注册插件名称和描述
• FLBPluginInit：初始化，可读取配置参数
• FLBPluginFlush：核心逻辑，每批日志到达时调用
• FLBPluginExit：插件退出时清理资源

4. 编译生成动态库

使用以下命令编译为 .so 文件：

go build -buildmode=c-archive -o mylogger.so mylogger.go

会生成两个文件：mylogger.so 和 mylogger.h，Fluent Bit 只需要 .so。

5. 配置 Fluent Bit 使用插件

在 fluent-bit.conf 中配置：

[SERVICE]
    Flush        1
    Log_Level    info
[INPUT]
Name         dummy
Dummy        {"message": "hello", "from": "golang"}
[OUTPUT]
Name         out_golang
Match        *
Module       /path/to/mylogger.so
Metric       off

启动 Fluent Bit：

./fluent-bit -c fluent-bit.conf

你会看到输出类似：

Go Plugin: {"from":"golang","message":"hello","timestamp":...}

6. 扩展功能：发送日志到远程服务

你可以在 FLBPluginFlush 中添加逻辑，将日志发送到：

• HTTP 服务（使用 net/http）
• Kafka（使用 sarama）
• Elasticsearch（使用 elastic/go-elasticsearch）
• 自定义消息队列或数据库

例如发送到 HTTP：

resp, err := http.Post("http://your-logger.com/logs", "application/json", bytes.NewBuffer(jsonData))
if err != nil {
    return output.FLB_ERROR
}
resp.Body.Close()

7. 注意事项

• Go 插件只能作为输出插件使用
• 性能：Go 的 GC 和协程调度可能引入延迟，适合中低吞吐场景
• 线程安全：Fluent Bit 可能并发调用 Flush，注意共享状态保护
• 错误处理：返回 FLB_ERROR 会让 Fluent Bit 重试
• 内存管理：避免在 Go 中长期持有 CGO 指针数据

基本上就这些。用 Go 开发 Fluent Bit 插件适合快速实现定制化日志输出逻辑，无需深入 C 语言。只要理解数据流和接口约定，就能高效构建日志收集器。

到这里，我们也就讲完了《Golang开发FluentBit日志插件教程》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！