Go语言Elasticsearch数据清理工具思路详解
来源：脚本之家
时间：2022-12-31 17:31:52 165浏览 收藏
亲爱的编程学习爱好者，如果你点开了这篇文章，说明你对《Go语言Elasticsearch数据清理工具思路详解》很感兴趣。本篇文章就来给大家详细解析一下，主要介绍一下数据、Elasticsearch、清理，希望所有认真读完的童鞋们，都有实质性的提高。
微服务架构中收集通常大家都采用ELK进行日志收集，同时我们还采用了SkyWalking进行链路跟踪，而SkyWalking数据存储也用到了ES，SkyWalking每天产生大量的索引数据，如下：
WX20211008-104751@2x
这里一天大概产生了700左右个索引数据。对历史的链路数据我们不做过多的保留。
这里我整理了个小工具，可以定期清理es数据。
一、清理思路
可以看到索引数据都是以日期结尾，我们可以根据日期去匹配索引数据，并对索引进行删除。这里需要考虑一点，有的Es服务开启了索引保护机制，不能通过*index去删除，只能通过索引的全名称去删除。所以我们整体流程如下：
1、获取es服务中全部索引数据。
2、根据当前时间-保留天数，获取要删除的日期。
3、通过字符串匹配，判断索引中是否包含要删除的日期，如果包含则进行删除。
4、工具友好性，我们可以通过配置文件配置ES服务地址、日期格式化类型、保留天数等信息。
二、代码实现
2.1、获取ES服务中全部索引数据
要获取Es服务中全部索引数据，我们首先连接Es服务器，这里我们使用github.com/olivere/elastic/v7库操作Es。
连接ES:
func GetEsClient(data Data) *elastic.Client {
Init()
file := "./eslog.log"
logFile, _ := os.OpenFile(file, os.O_RDWR|os.O_CREATE|os.O_APPEND, 0766)
client, err := elastic.NewClient(
elastic.SetURL(data.Host),
elastic.SetSniff(false),
elastic.SetInfoLog(log.New(logFile, "ES-INFO: ", 0)),
elastic.SetTraceLog(log.New(logFile, "ES-TRACE: ", 0)),
elastic.SetErrorLog(log.New(logFile, "ES-ERROR: ", 0)),
)
if err != nil {
return nil
}
return client
}
我们通过GetEsClient方法，连接ES,并返回client，供后续方法使用。这里的Data是包含了ES服务地址等信息，我们后面会给出Data的数据结构。
获取全部索引数据
func getIndex(data Data) map[string]interface{} {
client := GetEsClient(data)
mapping := client.GetMapping()
service := mapping.Index("*")
result, err := service.Do(context.Background())
if err != nil {
fmt.Printf("create index failed, err: %v\n", err)
return nil
}
return result
}
通过client.GetMapping().Index("*")API获取es服务中全部的索引数据，并返回，数据格式如下：
WX20211008-110537@2x
这次我们获取全部索引完成。
2.2、根据当前时间-保留天数，获取要删除的日期
我们根据当前时间-保留天数，获取当前需要删除的日期数据。我们通过GoLang内置的函数库time完成该功能的实现。
currentTime := time.Now()//获取当前时间 oldTime := currentTime.AddDate(0, 0, data.Day)//通过配置文件获取保留天数 format := oldTime.Format(data.IndexFmt)//通过配置文件获取序列化日期格式
2.3、通过字符串匹配，判断索引中是否包含要删除的日期，如果包含则进行删除
这里通过字符串匹配进行判断是否需要删除索引数据。
func delIndex(data Data) {
currentTime := time.Now()
oldTime := currentTime.AddDate(0, 0, data.Day)
format := oldTime.Format(data.IndexFmt)
index := getIndex(data)//获取全部索引
for k := range index {//遍历索引数据
fmt.Println("key:", k, "format:", format)
if find := strings.Contains(k, format); find { //判断索引中是否包含要删除的日期格式，
DelIndex(data, k)//如果包含则调用DelIndex方法删除
}
}
}
// DelIndex 删除 index
func DelIndex(data Data, index ...string) bool {
client := GetEsClient(data)
response, err := client.DeleteIndex(index...).Do(context.Background())
if err != nil {
fmt.Printf("delete index failed, err: %v\n", err)
return false
}
return response.Acknowledged
}
通过DeleteIndexAPI删除指定的数据。
2.4、通过配置文件灵活配置数据
这里我们定义了Config和Data对象，对象结构如下：
type Config struct {
Data []Data `json:"data"`
}
type Data struct {
Host string `json:"host"`
IndexFmt string `json:"index_fmt"`
Day int `json:"day"`
}
配置文件内容如下：
{
"data": [
{
"host": "http://ip1:9200",//服务IP
"index_fmt": "20060102",//日期格式化
"day": -1 //保留天数 保留1天
},
{
"host": "http://ip2:9200/",
"index_fmt": "20060102",
"day": -1
},
{
"host": "http://ip3:32093",
"index_fmt": "2006.01.02",
"day": -7 //保留天数 保留7天
}
]
}
我们通过Init方法加载配置文件到Config;
var config Config
func Init() {
JsonParse := NewJsonStruct()
//下面使用的是相对路径，config.json文件和main.go文件处于同一目录下
JsonParse.Load("config/config.json", &config)
}
type JsonStruct struct {
}
func NewJsonStruct() *JsonStruct {
return &JsonStruct{}
}
func (jst *JsonStruct) Load(filename string, v interface{}) {
//ReadFile函数会读取文件的全部内容，并将结果以[]byte类型返回
data, err := ioutil.ReadFile(filename)
if err != nil {
return
}
//读取的数据为json格式，需要进行解码
err = json.Unmarshal(data, v)
if err != nil {
return
}
}
编写Main方法运行程序：
func main() {
Init()
for i, datum := range config.Data {
fmt.Printf("config data Host is [%s], fmt is [%s]\n", datum.Host, datum.IndexFmt)
println(i)
delIndex(datum)
}
}
这里我们依然遍历配置文件中的多个服务配置。可以同时管理多个Es服务。
三、完整代码
package main
import (
"encoding/json"
"fmt"
"io/ioutil"
"strings"
"time"
)
type Config struct {
Data []Data `json:"data"`
}
type Data struct {
Host string `json:"host"`
IndexFmt string `json:"index_fmt"`
Day int `json:"day"`
}
var config Config
func Init() {
JsonParse := NewJsonStruct()
//下面使用的是相对路径，config.json文件和main.go文件处于同一目录下
JsonParse.Load("config/config.json", &config)
}
type JsonStruct struct {
}
func NewJsonStruct() *JsonStruct {
return &JsonStruct{}
}
func (jst *JsonStruct) Load(filename string, v interface{}) {
//ReadFile函数会读取文件的全部内容，并将结果以[]byte类型返回
data, err := ioutil.ReadFile(filename)
if err != nil {
return
}
//读取的数据为json格式，需要进行解码
err = json.Unmarshal(data, v)
if err != nil {
return
}
}
func delIndex(data Data) {
currentTime := time.Now()
oldTime := currentTime.AddDate(0, 0, data.Day)
format := oldTime.Format(data.IndexFmt)
index := getIndex(data)
for k := range index {
fmt.Println("key:", k, "format:", format)
if find := strings.Contains(k, format); find {
DelIndex(data, k)
}
}
}
func main() {
Init()
for i, datum := range config.Data {
fmt.Printf("config data Host is [%s], fmt is [%s]\n", datum.Host, datum.IndexFmt)
println(i)
delIndex(datum)
}
}
package main
import (
"context"
"fmt"
"github.com/olivere/elastic/v7"
"log"
"os"
"time"
)
// GetEsClient 初始化客户端
func GetEsClient(data Data) *elastic.Client {
Init()
file := "./eslog.log"
logFile, _ := os.OpenFile(file, os.O_RDWR|os.O_CREATE|os.O_APPEND, 0766) // 应该判断error，此处简略
client, err := elastic.NewClient(
elastic.SetURL(data.Host),
elastic.SetSniff(false),
elastic.SetInfoLog(log.New(logFile, "ES-INFO: ", 0)),
elastic.SetTraceLog(log.New(logFile, "ES-TRACE: ", 0)),
elastic.SetErrorLog(log.New(logFile, "ES-ERROR: ", 0)),
)
if err != nil {
return nil
}
return client
}
// IsDocExists 判断索引是否存储
func IsDocExists(data Data, id string, index string) bool {
client := GetEsClient(data)
defer client.Stop()
exist, _ := client.Exists().Index(index).Id(id).Do(context.Background())
if !exist {
log.Println("ID may be incorrect! ", id)
return false
}
return true
}
// PingNode 是否联通
func PingNode(data Data) {
start := time.Now()
client := GetEsClient(data)
info, code, err := client.Ping(data.Host).Do(context.Background())
if err != nil {
fmt.Printf("ping es failed, err: %v", err)
}
duration := time.Since(start)
fmt.Printf("cost time: %v\n", duration)
fmt.Printf("Elasticsearch returned with code %d and version %s\n", code, info.Version.Number)
}
// GetDoc 获取文档
func GetDoc(data Data, id string, index string) (*elastic.GetResult, error) {
client := GetEsClient(data)
defer client.Stop()
if !IsDocExists(data, id, index) {
return nil, fmt.Errorf("id不存在")
}
esResponse, err := client.Get().Index(index).Id(id).Do(context.Background())
if err != nil {
return nil, err
}
return esResponse, nil
}
// CreateIndex 创建 index
func CreateIndex(data Data, index, mapping string) bool {
client := GetEsClient(data)
result, err := client.CreateIndex(index).BodyString(mapping).Do(context.Background())
if err != nil {
fmt.Printf("create index failed, err: %v\n", err)
return false
}
return result.Acknowledged
}
// DelIndex 删除 index
func DelIndex(data Data, index ...string) bool {
client := GetEsClient(data)
response, err := client.DeleteIndex(index...).Do(context.Background())
if err != nil {
fmt.Printf("delete index failed, err: %v\n", err)
return false
}
return response.Acknowledged
}
func getIndex(data Data) map[string]interface{} {
client := GetEsClient(data)
mapping := client.GetMapping()
service := mapping.Index("*")
result, err := service.Do(context.Background())
if err != nil {
fmt.Printf("create index failed, err: %v\n", err)
return nil
}
return result
}
代码已经上传github需要的可自行下载。
到这里，我们也就讲完了《Go语言Elasticsearch数据清理工具思路详解》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于golang的知识点！
声明：本文转载于：脚本之家 如有侵犯，请联系study_golang@163.com删除
相关阅读
更多>
-
138 收藏
-
443 收藏
-
171 收藏
-
424 收藏
-
306 收藏
最新阅读
更多>
-
233 收藏
-
322 收藏
-
181 收藏
-
316 收藏
-
244 收藏
-
300 收藏
课程推荐
更多>
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案，代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景，打造一站式知识长龙服务，适合有JS基础的同学学习。
- 立即学习 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例，全面具体可落地，从理论到实践，一步一步将GO核心编程技术、编程思想、底层实现融会贯通，使学习者贴近时代脉搏，做IT互联网时代的弄潮儿。
- 立即学习 507次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信：Le-studyg；在课程中，我们将首先介绍MySQL8的新特性，包括性能优化、安全增强、新数据类型等，帮助学生快速熟悉MySQL8的最新功能。接着，我们将深入解析MySQL的网络通信机制，包括协议、连接管理、数据传输等，让
- 立即学习 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网，分为导航，轮播，关于我们，成功案例，服务流程，团队介绍，数据部分，公司动态，底部信息等内容区块。网站整体采用CSSGrid布局，支持响应式，有流畅过渡和展现动画。
- 立即学习 484次学习
评论列表
-
- 大气的花卷
- 这篇文章内容真及时，太全面了，受益颇多，收藏了，关注老哥了！希望老哥能多写Golang相关的文章。
- 2023-01-23 11:14:07
-
- 落后的奇异果
- 很详细，已加入收藏夹了，感谢大佬的这篇技术贴，我会继续支持！
- 2023-01-22 14:01:57
-
- 长情的白羊
- 这篇博文太及时了，作者加油！
- 2023-01-08 17:49:36
-
- 风趣的项链
- 很棒，一直没懂这个问题，但其实工作中常常有遇到...不过今天到这，帮助很大，总算是懂了，感谢老哥分享技术文章！
- 2023-01-07 13:55:30