Go实现分布式唯一ID的生成之雪花算法
来源:脚本之家
时间:2022-12-29 16:27:47 266浏览 收藏
对于一个Golang开发者来说,牢固扎实的基础是十分重要的,golang学习网就来带大家一点点的掌握基础知识点。今天本篇文章带大家了解《Go实现分布式唯一ID的生成之雪花算法》,主要介绍了分布式唯一ID雪花算法,希望对大家的知识积累有所帮助,快点收藏起来吧,否则需要时就找不到了!
分布式唯一ID的生成
背景:
在分布式架构下,唯一序列号生成是我们在设计一个尤其是数据库使用分库分表的时候会常见的一个问题
特性:
全局唯一,这是基本要求,不能出现重复数字类型,趋势递增,后面的ID必须比前面的大长度短,能够提高查询效率,这也是从MySQL数据库规范出发的,尤其是ID作为主键时**信息安全,**如果ID连续生成,势必会泄露业务信息,所以需要无规则不规则高可用低延时,ID生成快,能够扛住高并发,延时足够低不至于成为业务瓶颈.
雪花算法:
snowflake是推特开源的分布式ID生成算法
结果: long 型的ID号(64位的ID号)
核心思想(生成的ID号是64位那么就对64位进行划分赋予特别的含义):
41bit-时间戳决定了该算法生成ID号的可用年限.
10bit-工作机器编号决定了该分布式系统的扩容性即机器数量.
12bit-序列号决定了每毫秒单机系统可以生成的序列号
拓展:什么是时间戳?
北京时间1970年01月01日08时00分00秒到此时时刻的总秒数
优势:
//实现方法: package main import ( "errors" "fmt" "sync" "time" ) /* 雪花算法(snowFlake)的具体实现方案: */ type SnowFlake struct{ mu sync.Mutex //雪花算法开启时的起始时间戳 twepoch int64 //每一部分占用的位数 workerIdBits int64 //每个数据中心的工作机器的编号位数 datacenterIdBits int64 //数据中心的编号位数 sequenceBits int64 //每个工作机器每毫秒递增的位数 //每一部分最大的数值 maxWorkerId int64 maxDatacenterId int64 maxSequence int64 //每一部分向左移动的位数 workerIdShift int64 datacenterIdShift int64 timestampShift int64 //当前数据中心ID号 datacenterId int64 //当前机器的ID号 workerId int64 //序列号 sequence int64 //上一次生成ID号前41位的毫秒时间戳 lastTimestamp int64 } /* 获取毫秒的时间戳 */ func (s *SnowFlake)timeGen()int64{ return time.Now().UnixMilli() } /* 获取比lastTimestamp大的当前毫秒时间戳 */ func (s *SnowFlake)tilNextMills()int64{ timeStampMill:=s.timeGen() for timeStampMill=mySnow.maxWorkerId||datacenterId>=mySnow.maxDatacenterId{ return nil,errors.New("workerId or datacenterId must not higher than max value ") } mySnow.workerIdShift=mySnow.sequenceBits mySnow.datacenterIdShift=mySnow.sequenceBits+mySnow.workerIdBits mySnow.timestampShift=mySnow.sequenceBits+mySnow.workerIdBits+mySnow.datacenterIdBits mySnow.lastTimestamp=-1 mySnow.workerId=workerId mySnow.datacenterId=datacenterId return mySnow,nil } func main(){ //模拟实验是生成并发400W个ID,所需要的时间 mySnow,_:=NewSnowFlake(0,0)//生成雪花算法 group:=sync.WaitGroup{} startTime:=time.Now() generateId:=func (s SnowFlake,requestNumber int){ for i:=0;i
以上分析生成400WID号只需要803.1006ms(所以单机上可以每秒生成的ID数在400W以上)
优点:
毫秒数在高位,自增序列在低位,整个ID都是趋势递增不依赖数据库等第三方系统,以服务的方式部署,稳定性更高,生成的ID性能也是非常高的可以根据自身业务特性分配bit位,非常灵活
缺陷:
1. 依赖机器时钟,如果**机器时钟回拨**,会导致重复ID生成.
2. 在单机上是递增的,但是由于设计到分布式环境下,每台机器上的时钟不可能完全同步,有时候会出现不是全局递增的情况.如何解决单机系统中时钟回拨问题:
可以分为两种情况:
1. 如果**时间回拨时间较短,比如配置5ms以内**,那么可以直接等候一定的时间,让机器时间追上来
2. 如果**时间回拨时间较长**,我们不能接收这么长的阻塞等候,那么就有两个策略,直接拒绝,抛出异常;或者通过RD时钟回滚布式环境下,每台机器上的时钟不可能完全同步,有时候会出现不是全局递增的情况.
如何解决单机系统中时钟回拨问题:
可以分为两种情况:
1. 如果**时间回拨时间较短,比如配置5ms以内**,那么可以直接等候一定的时间,让机器时间追上来
2. 如果**时间回拨时间较长**,我们不能接收这么长的阻塞等候,那么就有两个策略,直接拒绝,抛出异常;或者通过RD时钟回滚参考博客高并发情况下,雪花ID一秒400W个,以及分布式ID算法(详析)
今天带大家了解了分布式唯一ID雪花算法的相关知识,希望对你有所帮助;关于Golang的技术知识我们会一点点深入介绍,欢迎大家关注golang学习网公众号,一起学习编程~
-
505 收藏
-
502 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
382 收藏
-
163 收藏
-
370 收藏
-
201 收藏
-
102 收藏
-
467 收藏
-
469 收藏
-
148 收藏
-
250 收藏
-
350 收藏
-
206 收藏
-
467 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 508次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 484次学习