go实现限流功能示例
来源:脚本之家
时间:2023-01-01 08:35:07 443浏览 收藏
本篇文章向大家介绍《go实现限流功能示例》,主要包括go限流,具有一定的参考价值,需要的朋友可以参考一下。
引言
在我们日常维护中,经常有爬虫进行爬取网页,少则1秒钟请求数十次,多则达百次,严重消耗了服务器带宽,且影响正常使用者,好在nginx
可以配合lua
可以完成类似的需求,本次我们将使用go
来完成本需求。
需求背景
在我们日常维护中,可能需要这样一种工具,来对某些路由,对特定IP或者用户ID,在特定时间内,限制最大访问次数,这样有效的避免服务器带宽资源的浪费的同时也能接入更多用户请求,本次使用go
来做一个类似的。
web demo搭建
我们先来使用SampleHttp
编写一个最简单的web
服务器,定义路由queryAll
,收到后,假设将返回客户端1w字节的数据信息。
在启动web
服务器后,我们使用curl
进行测试
命令:
curl 127.0.0.1:8083/queryAll
限制访问次数编写
在上述整体需求的情况下,我们需要编写在规定时间限制访问次数的需求,这里我们为了方便,使用ip
来作为限制条件,其核心功能分类大致分为:
- 从未访问过
web
服务器 - 访问过
web
服务器,在规定时间内没有超出限制 - 访问过
web
服务器,在在规定时间内超出了限制 - 访问过
web
服务器,时间间隔超过了规定时间
如上分类,除了第三种需要限流外,其他则视为正常访问即可。
核心存储,我们可以选择go map
,其中key
为ip
,value
为结构体,该结构体包含访问次数和创建间戳。
其定义如下
我们来根据如上定义的核心功能来编写程序
从未访问过服务器
我们根据map
中是否存在这个key
来判断,如
_, ok := visitHashMap[ip]; if !ok { // 如果没有该ip的访问次数,则新增记录 }
访问过服务器,在规定时间超过了限制
if time.Now().Unix()-visit.createUnixTime >= interval*60 { // 在规定时间超过了限制,需要重新计算阈值 }
超过最大允许访问数
if visitHashMap[ip].number >= maxNum { // 超过允许最大访问次数 }
整理为其核心函数如下
功能测试
我们在定义路由地方,将来访者IP
传入,就可以根据其返回的bool
值来判断是否需要限制访问了。
其main
函数定义如下:
func main() { SampleHttp.Route("get","/queryAll", func(info *SampleHttp.HttpInfo) { ip := strings.Split(info.RemoteIP,":")[0] if ! limits(ip) { info.Write([]byte(fmt.Sprintf("%s 已经被限制访问,在%d分钟内,访问达到%d次",time.Now(),interval,visitHashMap[ip].number))) return } info.Write([]byte(fmt.Sprintf("%s 收到queryAll请求,开始查询,返回1W字节数据信息...,统计信息: 在%d分钟内,访问达到%d次",time.Now(),interval,visitHashMap[ip].number))) }) visitHashMap = make(map[string]visitInfo,0) SampleHttp.StartServer("0.0.0.0:8083") }
我们将开启服务器来测试一下
通过上述执行结果图,可以看到,当1分钟内访问次数超过10次后,就被限制访问了,而从第一次访问时间到目前访问时间间隔达到1分钟以上后,限制就被解除了,可见功能已经完成了。
总结
如上只是实现了这种方法而已,在实际项目中,还需要详细的打磨才行,不然执行效率肯定堪忧,怎么样,限制这个看着好玩吧,快来试试吧,相关代码已经放置到了gitee上。
今天带大家了解了go限流的相关知识,希望对你有所帮助;关于Golang的技术知识我们会一点点深入介绍,欢迎大家关注golang学习网公众号,一起学习编程~
-
505 收藏
-
502 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
102 收藏
-
467 收藏
-
469 收藏
-
148 收藏
-
250 收藏
-
350 收藏
-
206 收藏
-
467 收藏
-
501 收藏
-
216 收藏
-
284 收藏
-
103 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 508次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 484次学习