Redis删除策略的三种方法及逐出算法
来源:脚本之家
时间:2022-12-31 10:56:56 162浏览 收藏
对于一个数据库开发者来说,牢固扎实的基础是十分重要的,golang学习网就来带大家一点点的掌握基础知识点。今天本篇文章带大家了解《Redis删除策略的三种方法及逐出算法》,主要介绍了算法、策略、Redis删除、逐出,希望对大家的知识积累有所帮助,快点收藏起来吧,否则需要时就找不到了!
一、前言
在文章开始之前,我先问大家一个问题:当我们使用指令:expire key second
给一个key设置过期时间,过期时间一到,这个key对应的过期数据
真的被服务器立即删除了吗?答案是并不会立即删除。知道了这个答案,就来看看Redis中如何处理过期的数据。
二、Redis中的数据特征
Redis是一种内存级数据库,所有数据均存放在内存中,内存中的数据可以通过TTL指令获取其状态,有三种状态:
指令结果 | 状态 |
---|---|
XX | 具有时效性的数据 |
-1 | 永久有效的数据 |
-2 | 已经过期的数据 或 被删除的数据 或 未定义的数据 |
三、时效性数据储存结构
当我们用指令设置过期数据后,数据对应的地址会放在expires空间中,存储方式是哈希,存储的value是过期时间。
四、数据删除策略
数据删除策略目标:
在内存占用与CPU占用之间寻找一种平衡,顾此失彼都会造成整体redis性能的下降,甚至引发服务器宕机或内存泄露
1、定时删除
- 创建一个定时器,当key设置有过期时间,且过期时间到达时,由定时器任务立即执行对键的删除操作
- 优点:节约内存,到时就删除,快速释放掉不必要的内存占用
- 缺点:CPU压力很大,无论CPU此时负载量多高,均占用CPU,会影响redis服务器响应时间和指令吞吐量
2、惰性删除
- 数据到达过期时间,不做处理。等下次访问该数据时,会调用
expireIfNeeded()
函数来判断该数据是否过期: 如果未过期,返回数据,发现已过期,删除,返回不存在 - 优点:节约CPU性能,发现必须删除的时候才删除
- 缺点:内存压力很大,出现长期占用内存的数据
3、定期删除
流程分析:
- Redis服务器启动初始化时,读取配置server.hz的值,默认为10
- 然后每秒钟执行10次
serverCron()
方法,该方法用来检测服务器 serverCron()
方法又会调用databasesCron()
方法,该方法是用来遍历数据库的,redis默认有16个数据库,从第一个数据库开始databasesCron()
方法又会调用activeExpireCycle()
方法,该方法会对每一个expires[*]
逐一进行检测,每次执行250ms/server.hz;对某个expires[*]
检测时,随机挑选W个key检测- 如果检测到key超时,则删除key;如果一轮中删除的key的数量>W25%,循环该过程;如果一轮中删除的key的数量≤W25%,检查下一个
expires[*]
,0-15循环。其中W取值=ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP属性值 - 如果activeExpireCycle()执行时间到期,下次从current_db继续向下执行
- 参数current_db用于记录activeExpireCycle() 进入哪个expires[*] 执行
总结:
周期性轮询redis库中的时效性数据,采用随机抽取的策略,利用过期数据占比的方式控制删除频度- 内存压力不是很大,长期占用内存的冷数据会被持续清理
五、删除策略对比
定时删除 | 节约内存,无占用 | 不分时段占用CPU资源,频度高 | 拿时间换空间 |
---|---|---|---|
惰性删除 | 内存占用严重 | 延时执行,CPU利用率高 | 拿空间换时间 |
定期删除 | 内存定期随机清理 | 每秒花费固定的CPU资源维护内存 | 随机抽查,重点抽查 |
六、逐出算法
1、概念引入
当新数据进入redis时,如果内存不足怎么办?Redis使用内存存储数据,在执行每一个命令前,会调用freeMemoryIfNeeded()
检测内存是否充足。如果内存不满足新加入数据的最低存储要求,redis要临时删除一些数据为当前指令清理存储空间。清理数据的策略称为逐出算法。
注意:逐出数据的过程不是100%能够清理出足够的可使用的内存空间,如果不成功则反复执行。当对所有数据尝试完毕后,如果不能达到内存清理的要求,将出现错误信息。
2、八种配置
检测易失数据(可能会过期的数据集server.db[i].expires
)
volatile-lru | 挑选最近最少使用的数据淘汰 |
---|---|
volatile-lfu | 挑选最近使用次数最少的数据淘汰 |
volatile-ttl | 挑选将要过期的数据淘汰 |
volatile-random | 任意选择数据淘汰 |
检测全库数据(所有数据集server.db[i].dict
)
allkeys-lru | 挑选最近最少使用的数据淘汰 |
---|---|
allkeys-lfu | 挑选最近使用次数最少的数据淘汰 |
allkeys-random | 任意选择数据淘汰 |
放弃数据驱逐:
no-enviction | 禁止驱逐数据(redis4.0中默认策略) |
---|
好了,本文到此结束,带大家了解了《Redis删除策略的三种方法及逐出算法》,希望本文对你有所帮助!关注golang学习网公众号,给大家分享更多数据库知识!
-
398 收藏
-
327 收藏
-
319 收藏
-
272 收藏
-
130 收藏
-
342 收藏
-
361 收藏
-
159 收藏
-
164 收藏
-
221 收藏
-
156 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 507次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 484次学习
-
- 风中的苗条
- 这篇文章真及时,太详细了,很棒,已加入收藏夹了,关注博主了!希望博主能多写数据库相关的文章。
- 2023-03-16 18:13:43
-
- 阳光的小海豚
- 这篇文章内容出现的刚刚好,up主加油!
- 2023-02-22 23:12:19
-
- 还单身的康乃馨
- 很详细,码住,感谢作者的这篇技术文章,我会继续支持!
- 2023-02-12 04:08:11
-
- 高高的板栗
- 这篇博文真及时,太全面了,很好,已收藏,关注作者大大了!希望作者大大能多写数据库相关的文章。
- 2023-02-07 04:35:35
-
- 风趣的睫毛膏
- 太全面了,已收藏,感谢楼主的这篇技术贴,我会继续支持!
- 2023-02-03 10:49:35
-
- 无奈的小懒猪
- 很有用,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,看完之后很有帮助,总算是懂了,感谢博主分享文章内容!
- 2023-01-31 08:20:18
-
- 单纯的高山
- 太细致了,已加入收藏夹了,感谢大佬的这篇文章,我会继续支持!
- 2023-01-16 08:40:09
-
- 苹果发箍
- 太给力了,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,帮助很大,总算是懂了,感谢up主分享文章!
- 2023-01-11 07:38:26
-
- 单纯的高山
- 很棒,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,看完之后很有帮助,总算是懂了,感谢老哥分享文章!
- 2023-01-10 16:58:01
-
- 美满的荷花
- 这篇文章内容真及时,太细致了,写的不错,收藏了,关注作者大大了!希望作者大大能多写数据库相关的文章。
- 2023-01-07 06:01:58
-
- 平淡的龙猫
- 很详细,码起来,感谢作者大大的这篇文章,我会继续支持!
- 2023-01-06 20:03:37
-
- 重要的蚂蚁
- 真优秀,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,看完之后很有帮助,总算是懂了,感谢up主分享文章内容!
- 2023-01-05 12:39:01
-
- 温柔的画板
- 这篇文章真是及时雨啊,太全面了,写的不错,收藏了,关注楼主了!希望楼主能多写数据库相关的文章。
- 2023-01-02 19:53:01