Go语言dolphinscheduler任务调度处理
来源:脚本之家
时间:2022-12-29 08:11:58 413浏览 收藏
本篇文章主要是结合我之前面试的各种经历和实战开发中遇到的问题解决经验整理的,希望这篇《Go语言dolphinscheduler任务调度处理》对你有很大帮助!欢迎收藏,分享给更多的需要的朋友学习~
简介
dolphinscheduler是一个可视化DAG工作流任务调度平台,在大数据领域做任务调用非常流行
提供了类似azkaban工作流调度,比azkaban更强的可视化DAG,支持大数据领域flink,spark,shell,python,java,scala,http等各种类型任务
官网传送门: https://dolphinscheduler.apache.org/zh-cn/
自动化
为什么需要自动化任务处理,当你的dolphinscheduler有几百上千个任务,管理是非常耗时的,如果每个任务都配置邮件告警,那一有问题整天都在救火
此时就需要任务结果监控和任务重跑来解决 失败任务和任务自动重跑,避免浪费过多时间在维护dolphinscheduler任务上
使用
在调用api之前需要为用户申请token,按图操作
dolphinscheduler提供类似swagge接口UI工具,访问doc地址访问
http://ip:12345/dolphinscheduler/doc.html?language=zh_CN&lang=cn
例子
该demo还是使用了http请求包(HttpRequest),json数据搜索包(go-jmespath)
任务结果检查
填坑说明
- 日期处理: 使用了%20转译空格,使用Sprintf方法拼接字符串
- 多种数据类型: 使用interface{}来支持int,string等多种数据类型
- 数据转换1: 将byte数据转成json格式,方便搜索
- 数据转换2: 将interface{}数据转成字符串切片,方便使用
该方法可以做成周期性任务运行,将失败的job查出来,后续是要告警通知,还是根据job名称查出对应id进行重跑任务
package main import ( "encoding/json" "fmt" "github.com/jmespath/go-jmespath" "github.com/kirinlabs/HttpRequest" "time" ) var ( url = "http://ip:12345/dolphinscheduler" token = "xxxxxxx" req *HttpRequest.Request ) func init() { req = HttpRequest.NewRequest().Debug(true).SetTimeout(time.Second*5). SetHeaders(map[string]string{ "token":token, }) } func main() { //testConn() jobCheck() } func jobCheck() { //获取日期 today := time.Now().Format("2006-01-02") tomorrow := time.Now().AddDate(0, 0, +1).Format("2006-01-02") //拼接日期 %20是空格的转译 fmt.Println(fmt.Sprintf("%v%v",today,"%2000:00:00")) fmt.Println(fmt.Sprintf("%v%v",tomorrow,"%2000:00:00")) //需要检查的项目名称 projects := []string{"jdOrder","jdPlay"} //需要检查的时间段 页码是int类型,日期是string类型 m := make(map[string]interface{}) m["pageNo"] = 1 m["pageSize"] = 22 m["stateType"] = "FAILURE" m["startDate"] = fmt.Sprintf("%v%v",today,"%2000:00:00") m["endDate"] = fmt.Sprintf("%v%v",tomorrow,"%2000:00:00") for _, project := range projects { resp, _ := req.Get(url+"/projects/"+project+"/task-instance/list-paging",m) if resp.StatusCode() != 200 { fmt.Println("job检查状态码不符期望: ",resp.StatusCode()) return } fmt.Println("resp",resp) //将返回数据从byte转成json格式 body, _ := resp.Body() var i interface{} var s []string _ = json.Unmarshal(body, &i) //搜索出需要的字段对应数据 processInstanceNames, _ := jmespath.Search("data.totalList[*].processInstanceName", i) //将interface转成[]string for _,v := range processInstanceNames.([]interface{}) { s = append(s,v.(string)) } //打印出结果 for _,v := range s { fmt.Println(v) } } }
测试连接
如果上小节任务跑不成功,可以先运行该方法,测试连接正确性
func testConn() { resp, _ := req.Get(url + "/projects/query-project-list") fmt.Println("resp",resp) body, _ := resp.Body() var i interface{} _ = json.Unmarshal(body, &i) fmt.Println("i",i) }
重跑任务
重跑任务其实就是再次启动任务,直接调用start_job既可
项目名称和ID需要通过该接口获取,这个是固定的
http://ip:12345/dolphinscheduler/projects/monitor/process/list-paging
调用示例: startJob("ads_jd_order",678)
func startJob(projectName string,projectId int) { m := make(map[string]interface{}) m["failureStrategy"] = "CONTINUE" m["warningGroupId"] = 0 m["warningType"] = "NONE" m["runMode"] = "RUN_MODE_SERIAL" m["processInstancePriority"] = "MEDIUM" m["workerGroup"] = "default" m["processDefinitionId"] = projectId resp, _ := req.JSON().Post(url+"projects/" + projectName+"/executors/start-process-instance",m) if resp.StatusCode() != 200 { fmt.Println("job开始状态码不符期望: ",resp.StatusCode()) return } }
小结
dolphinscheduler api调用有文档,不太复杂,但网上资料较少,需要自行摸索,以上就是Go语言dolphinscheduler任务调度处理的详细内容,更多关于Go语言dolphinscheduler任务调度的资料请关注golang学习网其它相关文章!
以上就是本文的全部内容了,是否有顺利帮助你解决问题?若是能给你带来学习上的帮助,请大家多多支持golang学习网!更多关于Golang的相关知识,也可关注golang学习网公众号。
-
505 收藏
-
502 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
128 收藏
-
236 收藏
-
340 收藏
-
298 收藏
-
249 收藏
-
460 收藏
-
495 收藏
-
365 收藏
-
369 收藏
-
194 收藏
-
213 收藏
-
382 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 508次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 484次学习
-
- 秀丽的猫咪
- 赞 👍👍,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,帮助很大,总算是懂了,感谢师傅分享博文!
- 2023-03-21 21:02:07
-
- 年轻的糖豆
- 这篇文章内容真及时,太全面了,太给力了,收藏了,关注作者了!希望作者能多写Golang相关的文章。
- 2023-02-24 09:04:50
-
- 小巧的黑米
- 这篇文章内容真是及时雨啊,太全面了,很有用,已加入收藏夹了,关注作者大大了!希望作者大大能多写Golang相关的文章。
- 2023-02-18 10:11:06
-
- 激动的钢笔
- 很详细,收藏了,感谢老哥的这篇技术文章,我会继续支持!
- 2023-01-27 22:14:04
-
- 爱笑的哈密瓜,数据线
- 感谢大佬分享,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,帮助很大,总算是懂了,感谢师傅分享文章!
- 2023-01-23 02:40:31