MySQL分库分表篇
来源:SegmentFault
时间:2023-02-24 15:12:46 290浏览 收藏
大家好,今天本人给大家带来文章《MySQL分库分表篇》,文中内容主要涉及到MySQL、分库分表,如果你对数据库方面的知识点感兴趣,那就请各位朋友继续看下去吧~希望能真正帮到你们,谢谢!
传统项⽬结构
数据库性能瓶颈:
1、数据库连接数有限
MySQL数据库默认100个连接、单机最⼤1500连接。
2、表数据量
1)表数量多,成百上千
2)单表数据,千万级别
3)索引,命中率问题,索引存磁盘,占空间
3、硬件问题
性能指标:单表QPS、TPS
数据库性能优化
1、参数优化
2、缓存、索引
3、读写分离
4、分库分表
分库分表介绍
使⽤背景
当【表的数量】达到了⼏百上千张表时,众多的业务模块都访问这个数据库,压⼒会⽐较⼤,考虑对其进⾏分库。
当【表的数据】达到了⼏千万级别,在做很多操作都⽐较吃⼒,所以,考虑对其进⾏分库或者分表
数据切分(sharding)⽅案
数据的切分(Sharding)根据其切分规则的类型,可以分为两种切分模式:
垂直切分:按照业务模块进⾏切分,将不同模块的表切分到不同的数据库中。
⽔平切分:将⼀张⼤表按照⼀定的切分规则,按照⾏切分成不同的表或者切分到不同的库中。
⽔平切分规则
常⽤的切分规则有以下⼏种:
按照ID取模:对ID进⾏取模,余数决定该⾏数据切分到哪个表或者库中
按照⽇期:按照年⽉⽇,将数据切分到不同的表或者库中
按照范围:可以对某⼀列按照范围进⾏切分,不同的范围切分到不同的表或者数据库中。
切分原则
第⼀原则:能不切分尽量不要切分。
第⼆原则:如果要切分⼀定要选择合适的切分规则,提前规划好。
第三原则:数据切分尽量通过数据冗余或表分组(Table Group)来降低跨库 Join 的可能。
第四原则:由于数据库中间件对数据 Join 实现的优劣难以把握,⽽且实现⾼性能难度极⼤,业务读取尽量少使⽤多表 Join。
分库分表需要解决的问题
分布式事务问题
本地事务:ACID
分布式事务:根据百度百科的定义,CAP定理⼜称CAP原则,指的是在⼀个分布式系统中,Consistency(⼀致性)、 Availability(可⽤性)、Partition tolerance(分区容错性)。⼀致性是强⼀致性。CAP理论最多只能同时满⾜两个。
BASE:基本可⽤+软状态+最终⼀致性
强⼀致性事务(同步)
最终⼀致性事务(异步思想) 利⽤记录⽇志等⽅式
分布式主键ID问题
redis incr命令
数据库(⽣成主键)
UUID
snowflflake算法(https://www.sohu.com/a/232008315_453160)
跨库join问题
通过业务分析,将不同库的join查询拆分成多个select
建⽴全局表(每个库都有⼀个相同的表)
冗余字段(不符合数据库三范式)
E-R分⽚(将有ER关系的记录都存储到⼀个库中)
最多⽀持跨两张表跨库的join
跨库count、order by、group by问题
分库分表实现技术
阿⾥的TDDL、Cobar
基于阿⾥Cobar开发的Mycat
当当⽹的sharding-jdbc
今天关于《MySQL分库分表篇》的内容就介绍到这里了,是不是学起来一目了然!想要了解更多关于mysql的内容请关注golang学习网公众号!
-
499 收藏
-
244 收藏
-
235 收藏
-
157 收藏
-
101 收藏
-
214 收藏
-
155 收藏
-
485 收藏
-
436 收藏
-
125 收藏
-
174 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 507次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 484次学习
-
- 激情的玫瑰
- 这篇文章真及时,太全面了,赞 👍👍,mark,关注老哥了!希望老哥能多写数据库相关的文章。
- 2023-05-14 20:21:28
-
- 糟糕的唇彩
- 很详细,mark,感谢up主的这篇技术贴,我会继续支持!
- 2023-05-14 16:30:32
-
- 甜美的大树
- 很棒,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,帮助很大,总算是懂了,感谢up主分享技术贴!
- 2023-04-02 05:13:55
-
- 任性的彩虹
- 太细致了,mark,感谢大佬的这篇文章,我会继续支持!
- 2023-03-11 22:42:42
-
- 合适的树叶
- 这篇技术文章真及时,作者加油!
- 2023-03-07 09:07:56
-
- 隐形的啤酒
- 很棒,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,看完之后很有帮助,总算是懂了,感谢楼主分享博文!
- 2023-03-06 01:18:32
-
- 柔弱的鸡
- 这篇技术贴真及时,太详细了,感谢大佬分享,已收藏,关注师傅了!希望师傅能多写数据库相关的文章。
- 2023-02-25 20:41:04
-
- 自信的手套
- 这篇文章太及时了,太细致了,很好,mark,关注博主了!希望博主能多写数据库相关的文章。
- 2023-02-25 15:08:12