J. Cole 的 InnoDB 系列 - 3. InnoDB空间文件布局的基础
来源:SegmentFault
时间:2023-01-14 08:47:05 408浏览 收藏
对于一个数据库开发者来说,牢固扎实的基础是十分重要的,golang学习网就来带大家一点点的掌握基础知识点。今天本篇文章带大家了解《J. Cole 的 InnoDB 系列 - 3. InnoDB空间文件布局的基础》,主要介绍了MySQL、数据库、InnoDB,希望对大家的知识积累有所帮助,快点收藏起来吧,否则需要时就找不到了!
原文地址:blog.jcole.us/2013/01/03/…
在数据存储模型中,通常有“空间”这个概念,在 MySQL 中被称为“表空间”,有时候在 InnoDB 中也被称为“文件空间”。一个空间可能由一个操作系统中的多个实际文件组成(例如 ibdata1, ibdata2 等等),实际上只是一个逻辑文件 - 多个文理文件被当做一个连接在一起的文件处理。
InnoDB 中每个空间都被分配了一个 32 位的无符号整型空间 ID,这个 ID 被用来在不同的地方引用指向这个空间。InnoDB 总是有一个“系统空间”,他的空间 ID 是 0。系统空间用于保存 InnoDB 的一系列元数据的记录。通过 MySQL,InnoDB 目前只支持“一个表一个文件”空间形式的额外空间,这将为每一个 MySQL 表创建 .ibd 文件。从内部来看,这个 .ibd 文件实际是一个可以容纳多个表的完整的空间,但是在 MySQL 的实现中,它只能包含一个表。
页
=
每个空间被切分成了页,一般每页 16 KiB(也可以通过在编译时指定
UNIV_PAGE_SIZE修改,或者开启了 InnoDB 压缩)。空间中的页会被分配一个 32 位的页码,这个页码被称为偏移,其实这个页码就是从空间地址开头的页偏移。所以,第 0 页位于文件偏移 0 的位置,第 1 页位于文件偏移 16384 的位置,以此类推。可能这里有些人会想起来,InnoDB 的数据大小限制是 64 TiB,这个其实是每个空间的大小限制。因为页码是一个 32 位的无符号整型,并且默认的页大小是 16 KiB,这样空间最大大小是 2^32 * 16 KiB = 64 TiB
页的结构如下:
每一页都有一个 38 字节的
FIL头部和一个
FIL尾部(
FIL这个名字其实就是出自 “file”的简写)。头部包含一个表示页类型的字段,这个类型决定了页的剩下部分的结构。
FIL头部和
FIL尾部结构如下所示:
FIL头部以及尾部包含以下结构:
- 页类型(2 bytes):这对于解析剩下的页数据是很重要的。很多模块以及场景下需要分配页存储,包括文件空间管理,范围管理,事务系统,数据字段,undo log,blobs 数据 还有索引以及表数据。
- 空间 ID(4 bytes)
- 页码(4 bytes):当页被初始化的时候页码就被存入了。检查该字段保存的页码与根据文件偏移量读取到的页码是否匹配,有助于表明读取是否是正确的。并且,如果这个字段被初始化了,表明这个页也被初始化了
- checksum(4 bytes)和老版 checksum(4 bytes)
- 上一页(4 bytes)与下一页(4 bytes)的指针:这样可以构建双向链表,并用于索引页来讲所有页在同一级别链接起来,从而提高索引全扫描的效率。但是有很多页面类型不使用这些字段。
- 头部保存最近修改对应的 LSN(日志序列号,8 bytes),同时这个序列号的低 32 位也保存在尾部。
- 全局最大的日志序列号(被称为 flush LSN,8 bytes),真正的序列号只保存在第 0 个空间的第 0 页,其他页这个字段的值都是 0,相当于都复用第 0 个空间的第 0 页的这个字段。这样全局发生修改的时候只用修改一个字段就行了。
空间文件
一个空间文件是很多页(最多 2^32)的聚合链接,为了更高效的管理,页被聚合成很多个 1 MiB 大小的块(64 个连续页,默认页大小是 16 KiB),这个块被称为“区”(extent)。很多结构只通过引用区来在一个空间中分配页
InnoDB 需要做一些元数据记录,来追踪所有页,区以及空间本身。
空间中的第一页是
FSP_HDR(文件空间头页)。
FSP_HDR页包含一个
FSP结构,记录像是空间的大小,空闲区、碎片区和满区的列表等数据(将来我会写一篇详细的关于空闲空间管理介绍的文章)。 一页
FSP_HDR只有够保存 256 个区(相当于 16384 页,256 MiB)信息的空间,所以每 16384 页之后,都需要额外记录这些页信息的空间。
XDES页和
FSP_HDR页的结构是相同的,只是在
XDES中
FSP占用的存储都是被 0 填充的。这些额外的页会随着空间文件的增长而自动分配。
INODE页用来保存文件段(Segmentation,包含一组区以及一个只会单独分配的碎片区的数组)的列表。每个
INDOE页可以保存 85 个
INODE元素,每个索引需要两个
INODE元素(将来我会写一篇详细的关于 INDOE 元素内容和文件区的文章)。
IBUF_BITMAP页保存关于插入缓存的信息,不在本系列的讨论范围内。
系统空间
系统空间(第 0 个空间)比较特殊,包含许多按固定页码分配的页面,以存储对 InnoDB 操作至关重要的大量信息。系统空间与任何其他空间一样,也需要
FSP_HDR,
IBUF_BITMAP,
Inode这三个页面作为头三页。这之后,与其他页面有点区别。
- 第 3 页,
SYS
类型:与插入缓存相关的头信息。 - 第 4 页,
INDEX
类型:用于插入缓冲的索引结构的根页。 - 第 5 页,
TRX_SYS
类型:与 InnoDB 事务系统的操作相关的信息,例如最新的事务ID、MySQL二进制日志信息和双写缓冲区范围的位置。 - 第 6 页,
SYS
类型:第一个回滚段页。根据需要分配其他页(或整个区段)来存储回滚段数据。 - 第 7 页,
SYS
类型:与数据字典相关的头信息,包含组成数据字典的索引的根页码。这些信息能够找到任何其他索引(表),由于它们的根页码就存储在这个数据字典中。 - 第 64 - 127 页:双写缓冲区中第一块(包含 64 页),双写缓冲区是 InnoDB 恢复机制的一个重要部分
- 第 128 - 191 页:双写缓冲区中第二块
其他页按需分配给索引、回滚段、撤消日志(undo logs)等.
每个表空间文件
InnoDB提供了“每个表一个文件”模式,该模式将为每个 MySQL 表创建一个文件(如上所述实际上是一个空间)。可能叫做“每个表一个空间”更合适一些。每个表都会创建
.ibd文件,它的结构如下:
忽略快速添加索引(即在运行时添加索引),在必需的3个初始页之后,空间中分配的下一个页面将是表中每个索引的根页,按表创建中定义的索引顺序排列。第 3 页将是聚集索引的根,第 4 页将是第一个二级索引的根,以此类推。
由于 InnoDB 的大部分元数据结构都存储在系统空间中,因此在“每个表一个空间”中分配的大多数页都是
INDEX类型的并存储表数据。
理论要掌握,实操不能落!以上关于《J. Cole 的 InnoDB 系列 - 3. InnoDB空间文件布局的基础》的详细介绍,大家都掌握了吧!如果想要继续提升自己的能力,那么就来关注golang学习网公众号吧!
-
499 收藏
-
244 收藏
-
235 收藏
-
157 收藏
-
101 收藏
-
208 收藏
-
174 收藏
-
317 收藏
-
371 收藏
-
244 收藏
-
288 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 507次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 484次学习
-
- 称心的楼房
- 太给力了,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,帮助很大,总算是懂了,感谢作者分享技术贴!
- 2023-01-31 10:48:03
-
- 要减肥的铅笔
- 这篇技术文章真及时,博主加油!
- 2023-01-29 18:40:24
-
- 眯眯眼的小蘑菇
- 太给力了,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,帮助很大,总算是懂了,感谢师傅分享文章!
- 2023-01-29 05:57:59
-
- 冷艳的小懒虫
- 太详细了,码住,感谢作者大大的这篇文章,我会继续支持!
- 2023-01-28 12:04:17
-
- 激情的眼神
- 这篇技术文章太及时了,太详细了,很棒,已收藏,关注大佬了!希望大佬能多写数据库相关的文章。
- 2023-01-26 02:00:58
-
- 无辜的雪碧
- 太详细了,码住,感谢作者的这篇技术贴,我会继续支持!
- 2023-01-23 09:50:48
-
- 害怕的老虎
- 这篇博文出现的刚刚好,太详细了,赞 👍👍,已收藏,关注up主了!希望up主能多写数据库相关的文章。
- 2023-01-20 11:53:41