go单体日志采集zincsearch方案实现
来源:脚本之家
时间:2022-12-30 20:55:48 142浏览 收藏
本篇文章给大家分享《go单体日志采集zincsearch方案实现》,覆盖了Golang的常见基础知识,其实一个语言的全部知识点一篇文章是不可能说完的,但希望通过这些问题,让读者对自己的掌握程度有一定的认识(B 数),从而弥补自己的不足,更好的掌握它。
但是单体也有日志采集需要,毕竟出了问题都要查日志的,如果没有采集系统,就只能靠tail命令不断去找,就算有,一般也是直接放到mysql或者mongodb中,然后直接查库,好点的可能做个查询页面。
下面我要介绍的是个号称ElasticSearch替代方案的zincsearch,这个zincsearch是对标ElasticSearch的,专门解决es的部署困难,资源要求高。这个zincsearch由go语言编写而成,非常容易就跑起来了。
周末有时间正好对zinsearch进行了调研,网上类似的技术文章真的太少了,有的也是官网文档的翻译。
一 构架
zincsearch用官方的话说是一个全文本搜索引擎,而且搜索很快。支持es格式接口,一般ELK中直接filebeat采集数据直接给es,你要使用zincsearch可以直接把它放到filebeat后头,filebeat采集数据给zincsearch。因为单体比较简单,filebeat使用也有一定门槛,我就自己写了一个logfile,专门采集日志,通过接口把数据传给zincsearch,构架如下图。
数据入库后通过zincsearch自带ui界面(类似kibana)就可以检索数据了.
二 zinsearch 安装
我是通过docker安装的,为了方便启动做成了一个docker-compose,配置如下:
docker-compose.yml
version: '3.5' networks: zinnet: driver: ${NETWORKS_DRIVER} services: zinc: ## mqtt 服务 image: zinc:v1 environment: - TZ=${TZ} - DATA_PATH="/data" - ZINC_FIRST_ADMIN_USER=admin - ZINC_FIRST_ADMIN_PASSWORD=123456 - ZINC_PROMETHEUS_ENABLE=true ports: - "4080:4080" volumes: - ${DATA_PATH_HOST}:/data networks: - ${NET_NAME} restart: always
.env
# 设置时区 TZ=Asia/Shanghai # 设置网络模式 NETWORKS_DRIVER=bridge # 宿主机上Mysql Reids数据存放的目录路径 DATA_PATH_HOST = ./data # 网络名称 NET_NAME = zinnet
在目录下创建指定的data目录 运行 docker-compose up -d 即可。
二 logbeat
logbeat是一个我自己写的类似filebeat的采集器,主要原理也是用了一个由tail作用的go库对文件进行监控,当由数据采集上来后进行过滤处理然后发送给zincsearch。
logbeat也是完全由golang编写,项目地址 gitee.com/lambdang/lo… 该项目下载下来编译后进行配置即可使用。
logbeat特点:
- 当zincsearch挂掉后整个采集就阻塞住了,会按照设定的时长进行服务可用性轮询试探,直到zincsearch服务恢复
- 该logbeat支持多文本日志监控,采集后为了减少zincsearch的压力,会顺序进行数据发送。
如果有filebeat经验的人也可以直接用filebeat进行数据采集,zincsearch文档上有filebeat的配置。
配置项如下:
Beat: Files: - Index: api File: ./test.log Hosts: http://localhost:4080 Username: admin Password: "123456" RetrySecond: 300 #重试秒s Log: OutType: all
三 zincsearch 使用经验
1 关于删除
zincsearch是以索引组织数据的,删除目前通过文档只发现了两种方式,一种是根据记录的id进行单个删除,一种是根据索引批量删除该索引下的所有数据,所以数据最好按照天或者月进行索引组织,这样方便以后按照天或者月进行数据删除,毕竟谁的硬盘也不是无穷大的。
之前一直想通过按照搜索进行数据删除,比如给一个时间段,然后进行删除,但是没有发现类似方法,有能这样实现的小伙伴欢迎交流。
2 关于日期date类型
zincsearch索引数据一共有如下几种类型
其中date类型是个特殊的存在
文档中索引的日期类型可以按照实际文本数据设置format。如下图:
但是通过一番摸索发现这个format只是你日志的格式,并不是最终ui界面显示的格式,经过测试,所有date类型数据最终都会转换成”数值“,可能是为了搜索的时候可以比较大小吧,但是显示的时候也是数值,这个就看着很不友好了。
目前我能想到的就觉方案是索引里不要弄date类型,直接弄numeric类型时间戳和text类型的字符串,两个同时弄,即方便时间区间查询也方便查看,也可以根据时间字符串进行查询,毕竟这可是支持全文检索的。谁有更好的方案欢迎交流。
3 关于检索中时间选项
所有数据查询都需要一个时间范围,一般默认是30分钟内,但是你也可以设置一天,一星期,一个月,也可以设置时间段。但是不要以为设置多少时间就能检索出该时间内所有数据,还要看数据量,就是数据左下角那个数值。
这个数值可以设置,这个才是决定最终的数据量的,它设置100,你检索出来的数据只是检索条件中结束时间点开始往前100条数据。所以你时间跨度设置再大,这个数值很小,你查出来数据也很少的。
结语
整体看这套单体采集方案可行性比较高,不会占用太多的资源,也能够对日志进行实时采集。但是毕竟代码都是一天搞出来的,不知道长期测试会有什么问题,下一步打算用这套采集系统做个长期测试看看。
大家用的什么样的日志采集方案欢迎留言交流。
日志只是系统可观测性的一方面,其他还包括,链路,性能指标监控,这些东西在为微服务上都有很好的解决方案,可是单体上却没有,原因无他,就是复杂性,资源高。
以上就是《go单体日志采集zincsearch方案实现》的详细内容,更多关于golang的资料请关注golang学习网公众号!
-
505 收藏
-
502 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
128 收藏
-
236 收藏
-
340 收藏
-
298 收藏
-
249 收藏
-
460 收藏
-
495 收藏
-
365 收藏
-
369 收藏
-
194 收藏
-
213 收藏
-
382 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 508次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 484次学习
-
- 有魅力的吐司
- 赞 👍👍,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,帮助很大,总算是懂了,感谢楼主分享技术文章!
- 2023-02-18 10:31:33
-
- 凶狠的水杯
- 这篇文章出现的刚刚好,好细啊,写的不错,已收藏,关注作者了!希望作者能多写Golang相关的文章。
- 2023-02-12 09:03:39
-
- 复杂的帆布鞋
- 细节满满,mark,感谢作者大大的这篇博文,我会继续支持!
- 2023-01-02 08:52:03
-
- 认真的帅哥
- 这篇技术贴出现的刚刚好,很详细,太给力了,已收藏,关注作者了!希望作者能多写Golang相关的文章。
- 2023-01-02 07:28:58
-
- 迷人的金针菇
- 写的不错,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,帮助很大,总算是懂了,感谢老哥分享文章内容!
- 2022-12-31 20:55:47