详解Go程序添加远程调用tcpdump功能
来源:脚本之家
时间:2022-12-24 14:43:11 446浏览 收藏
对于一个Golang开发者来说,牢固扎实的基础是十分重要的,golang学习网就来带大家一点点的掌握基础知识点。今天本篇文章带大家了解《详解Go程序添加远程调用tcpdump功能》,主要介绍了go远程调用、tcpdump,希望对大家的知识积累有所帮助,快点收藏起来吧,否则需要时就找不到了!
最近开发的telemetry采集系统上线了。听起来高大上,简单来说就是一个grpc/udp服务端,用户的机器(路由器、交换机)将它们的各种统计数据上报采集、整理后交后端的各类AI分析系统分析。目前华为/思科的大部分设备支持。
上线之后,各类用户开始找来要求帮忙定位问题,一般是上报的数据在后端系统中不存在等等。
在一通抓包分析后,百分之99都是用户自己的问题。但频繁的抓包定位问题,严重的压缩了我摸鱼的时间。而且,这套系统采用多实例方式部署在腾X云多个容器中,一个个的登录抓包,真的很烦。
这让我萌生了一个需求:
- 主动给采集器下发抓包任务。
- 将抓包的信息返回。
- 将抓包的文件暂存,以备进一步定位问题。
方法1
使用fabric等ssh运维工具,编写脚本自动化登录机器后执行tcpdump,然后进一步处理。
很可惜的是,并没有容器母机ssh的权限。只能通过一个web命令行观察容器。这条路玩不转。
方法2
- 在采集器中添加一个接口,用以下发tcpdump命令
- 采集器执行tcpdump命令,并获取返回的信息(比如captured xxx pacs),保存相关文件。
- 将获取的抓包信息以某种方式反发给命令下发人。
使用tcpdump定时抓取并保存信息
首先需要解决tcpdump定时的问题,以免tcpdump无限期的执行抓包,经过一通谷歌,命令如下:
timeout 30 tcpdump -i eth0 host 9.123.123.111 and port 6651 -w /tmp/log.cap
timeout 30 指抓取30秒,超时后tcpdump会直接退出
-i 指定抓取的端口
host xxx 源IP
port xxx 源端口
编写tcpdump函数
下面到了我最喜欢的写代码阶段,为了简单,直接使用os/exec
库。不要笑,很多大厂的很多系统其实都是包命令行工具,解决问题最重要。
// TcpDump 执行tcpdump命令,并返回抓到的包数 func TcpDump(sudo bool, timeout int, eth string, host string, port int) (caps int, err error) { portStr := "" if port != 0 { portStr = fmt.Sprintf("and port %v", port) } tcpdumpCmd := fmt.Sprintf("timeout %v tcpdump -i %v host %v %v -w /tmp/log.cap", timeout, eth, host, portStr) if sudo { tcpdumpCmd = "sudo " + tcpdumpCmd } logrus.Infof("call %v", tcpdumpCmd) cmd := exec.Command("sh", "-c", tcpdumpCmd) var outb, errb bytes.Buffer cmd.Stderr = &errb err = cmd.Run() if err != nil { if !errors.Is(err, &exec.ExitError{}) { logrus.Infof("out:%s ; %s", outb.Bytes(), errb.Bytes()) return getPacs(errb.String()), nil } return } return 0,fmt.Errorf("unknown error") } func getPacs(input string) int { end := strings.Index(input, "packets captured") pos := end for { pos -= 1 if pos这里要注意几点:
执行
cmd := exec.Command("sh", "-c", tcpdumpCmd)
后,tcpdump的返回信息类似:listening on eth1, link-type EN10MB (Ethernet), capture size 65535 bytes\n56 packets captured\n56 packets received by filter\n0 packets dropped by kernel\n是在stderr中的。而不是stdout。
getPacs
函数简单的从xx packets received
中提取出了抓包数。但是如果是中文的服务器系统(不会吧,不会吧),就不太好使了。编写api
现在函数已经有了,只要再写一个http api,就能很方便的把它暴露出去。
import "github.com/gogf/gf/v2/encoding/gjson" // ErrJson,写入一个error json,形如: //{ // "err": code, // "err_msg": msg //} func ErrJson(w http.ResponseWriter, errCode int, errStr string) error { w.Header().Set("Content-Type", "application/json") js := make(map[string]interface{}) js["err"] = errCode js["err_msg"] = errStr jsBts, _ := json.Marshal(js) _, err := w.Write(jsBts) return err } /* TcpDumpHandler req:{ "sudo": true, "eth": "eth0", "host": "10.99.17.135", "port": 0 } rsp:{ "err": 0, "caps": 14 } */ func TcpDumpHandler(w http.ResponseWriter, r *http.Request) { r.ParseForm() ret, err := ioutil.ReadAll(r.Body) if err != nil { ErrJson(w, 1, "数据错误") return } js := gjson.New(ret) sudo := js.Get("sudo").Bool() eth := js.Get("eth").String() if eth == "" { ErrJson(w, 1, "数据错误, eth不存在") return } host := js.Get("host").String() if host == "" { ErrJson(w, 1, "数据错误, host不存在") return } port := js.Get("port").Int() timeout := js.Get("timeout").Int() if timeout == 0 { ErrJson(w, 1, "数据错误, timeout为0或不存在") return } go func() { chatKey := config.GlobalConfigObj.Global.ChatKey botKey := config.GlobalConfigObj.Global.BotKey // 这里直接利用了公司的一个消息系统,如果贵公司没有这样的系统,就变通一下 msgSender := msg.NewNiuBiMsg(chatKey, botKey) caps, err := TcpDump(sudo, timeout, eth, host, port) if err != nil { return } if caps > 0 { // 这里直接利用了公司的一个消息系统,向企业IM发一条消息 msgSender.Send(fmt.Sprintf("tcpdump agent_ip:%v host:%v eth:%v port:%v, captured:%v", config.GlobalLocalConfig.LocalIP, host, eth, port, caps)) bts, err := ioutil.ReadFile("/tmp/log.cap") if err != nil { return } b64Caps := base64.StdEncoding.EncodeToString(bts) // 把抓包的文件通过这个消息系统也发到企业IM中 msgSender.File(fmt.Sprintf("pacs_%v.cap", config.GlobalLocalConfig.LocalIP), b64Caps) } }() }然后起一个http svr
func runHttp() { mux := http.NewServeMux() server := http.Server{ Addr: fmt.Sprintf(":%d", 3527), Handler: mux, ReadTimeout: 3 * time.Second, WriteTimeout: 5 * time.Second, } // 开始添加路由 mux.HandleFunc("/tcpdump", tcpdumpsvc.TcpDumpHandler) logrus.Infof("run http:%v", 3527) logrus.Info(server.ListenAndServe()) }到这一步,这个系统就基本完成了。使用这个命令就能调用接口。
curl --header "Content-Type: application/json" --request GET --data '{"sudo":false,"eth":"eth0","host":"100.xxx.xxx.10","port":0,"timeout":5}' http://0.0.0.0:3527/tcpdump这个系统有几个硬伤。
- 依赖了公司的消息系统完成抓包数据回发的功能。假如各位大佬的公司没有这样的系统
msgSender.Send
,可行的方法有: - scp到一个特定的文件夹。
- 使用电子邮件。
- 和领导申请自己开发一套,你看,需求就来了。
- tcpdump可能会生成极大的抓包文件,此时使用
bts, err := ioutil.ReadFile("/tmp/log.cap")
,可能会直接让系统OOM。所以设置timeout和抓包的大小(比如在tcpdump命令中使用-c
)是很重要的。换句话说,这个api不是公有的,别让不了解的人去调用。
不过这都是小问题。现在用户找上门来,我只需要启动脚本,从服务发现api拉到所有的实例IP,然后依次调用tcpdump api,等待IM的反馈即可。又能快乐的摸鱼啦。
终于介绍完啦!小伙伴们,这篇关于《详解Go程序添加远程调用tcpdump功能》的介绍应该让你收获多多了吧!欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布Golang相关知识,快来关注吧!
-
312 收藏
-
473 收藏
-
377 收藏
-
384 收藏
-
246 收藏
-
110 收藏
-
210 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 507次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 484次学习
-
- 畅快的期待
- 这篇技术文章真及时,很详细,太给力了,已收藏,关注师傅了!希望师傅能多写Golang相关的文章。
- 2023-02-04 18:09:40
-
- 超帅的小松鼠
- 好细啊,收藏了,感谢大佬的这篇文章,我会继续支持!
- 2023-01-09 05:48:36
-
- 犹豫的耳机
- 这篇博文真及时,太详细了,太给力了,收藏了,关注作者了!希望作者能多写Golang相关的文章。
- 2023-01-08 11:03:01
-
- 彩色的日记本
- 赞 👍👍,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,帮助很大,总算是懂了,感谢楼主分享文章!
- 2022-12-28 12:35:29
-
- 风中的夕阳
- 这篇技术文章真及时,好细啊,很棒,收藏了,关注博主了!希望博主能多写Golang相关的文章。
- 2022-12-28 03:02:55
-
- 苹果发箍
- 很棒,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,看完之后很有帮助,总算是懂了,感谢作者大大分享博文!
- 2022-12-27 18:28:29
-
- 能干的草丛
- 这篇技术文章真是及时雨啊,很详细,真优秀,收藏了,关注up主了!希望up主能多写Golang相关的文章。
- 2022-12-27 18:07:45
-
- 阔达的路人
- 这篇博文真是及时雨啊,太细致了,很棒,已加入收藏夹了,关注博主了!希望博主能多写Golang相关的文章。
- 2022-12-26 21:18:38
-
- 风中的月饼
- 写的不错,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,看完之后很有帮助,总算是懂了,感谢楼主分享文章!
- 2022-12-26 15:11:17
-
- 隐形的啤酒
- 这篇文章真及时,细节满满,很好,已加入收藏夹了,关注作者大大了!希望作者大大能多写Golang相关的文章。
- 2022-12-26 00:10:24
-
- 明亮的滑板
- 好细啊,已加入收藏夹了,感谢博主的这篇文章内容,我会继续支持!
- 2022-12-25 12:55:42
-
- 沉默的猫咪
- 写的不错,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,看完之后很有帮助,总算是懂了,感谢作者大大分享技术文章!
- 2022-12-25 02:32:08