美团面试：说说MySQL存储引擎原理，幸好我准备过！

r囧r小猫 2022-09-10 00:27 209阅读 0赞

关注公众号“Java后端技术全栈”

回复“000”获取程序员必备电子书

大家好，我是田维常，十年码农给你分享后端开发技术，记得关注我。

我手里有500G后端技术学习资料，文章末尾有我的联系方式，备注“**资源**”。

前面分享9篇，关于2017年，我去上海美团面试遇到的技术问题。

[**美团面试：熟悉哪些JVM调优参数，幸好我准备过！**][JVM]

[美团面试：讲清楚MySQL结构体系，立马发offer][MySQL_offer]

[美团面试：慢SQL有遇到过吗？是怎么解决的？][SQL]

[美团面试：String s = new String("111")会创建几个对象？][String s _ new String_111]

[美团面试：为什么就能直接调用userMapper接口的方法？][userMapper]

[**美团面试：接口被恶意狂刷，怎么办？**][Link 1]

[**美团面试：MySQL中有哪些锁？当时我就懵逼了！**][MySQL]

[**美团面试：使用MySQL，你遇到过哪些坑？**][MySQL 1]

[**美团面试：请手写一个快排，被我怼了！**][Link 2]

话不多说，咱们直入主题。

**`MySQL`的数据是如何组织的呢？**

当然是page，也就是说`MySQL`以页为单位进行内外存交换。

## 一、 MySQL记录存储（页为单位） ##

![b6179bda1ea9e3ddb4a00bbd27aac364.png][]

### 页头 ###

记录页面的控制信息，共占56字节，包括页的左右兄弟页面指针、页面空间使用情况等。

### 虚记录 ###

最大虚记录：比页内最大主键还大 最小虚记录：比页内最小主键还小 (作用：比如说我们要查看一个记录是否在这个页面里，就要看这个记录是否在最大最小虚记录范围内)

### 记录堆 ###

行记录存储区，分为有效记录和已删除记录两种

### 自由空间链表 ###

已删除记录组成的链表 (重复利用空间)

### 未分配空间 ###

页面未使用的存储空间；

### Slot区 ###

页尾 页面最后部分，占8个字节，主要存储页面的校验信息；

### 页内记录维护 ###

**顺序保证**

物理有序(利于查询，不利于插入删除)

![ae2f9960d491161cf77d979e81a1dc89.png][]

**逻辑有序(插入删除性能高，查询效率低)** 默认

![3fffcac2e51a31d2ffeaf6335d932ff9.png][]

所以`MySQL`是像下图所示这样子有序的组织数据的。

![4524936923127fd7406d5ec1ac91617d.png][]

**2、插入策略**

**自由空间链表**（优先利用自由空间链表）

**未使用空间**![3956d3d195f25205a97af03a001c1bbf.png][]

**3、页内查询**

**遍历**

**二分查找(数据不一样大，不能用二分)**

![04d39a69aacbee3eb1e081b1edeb5466.png][]

利用槽位做二分，实现近似的二分查找，近似于跳表 。

## 二、 MySQL InnoDB存储引擎内存管理 ##

### 预分配内存空间 ###

内存池

### 数据以页为单位加载 （减少io访问次数） ###

内存页面管理

*  页面映射（记录哪块磁盘上的数据加载到哪块内存上了）
 *  页面数据管理

### 数据内外存交换 ###

数据淘汰

*  内存页耗尽
 *  需要加载新数据

![1c92fece8f1f3d856f0e4ec585c3a299.png][]

### 页面管理 ###

*  空闲页
 *  数据页
 *  脏页（需刷回磁盘）

### 页面淘汰 ###

LRU(淘汰冷数据)

![a1b466b6839f8037afb5157c5fbbe233.png][]

`某时刻状态->访问P2->访问新页P7`

#### 全表扫描对内存的影响？ ####

可能会把内存中的热数据淘汰掉（比如说对一个几乎没有访问量的表进行全表扫描）

所以`MySQL`不是单纯的利用`LRU算法`

解决问题：如何避免热数据被淘汰？

解决方案：访问时间 + 频率(redis)

两个`LRU`表

`MySQL`的解决方案

![49be6eb7f3588f933c69734c9950a045.png][]

MySQL内存管理—LRU

![ca1b58c4968565c2699dfdee76549a15.png][]

### 页面装载 ###

磁盘数据到内存

![0b079f237a703ae59253dd236d5ced75.png][] ![d6dbd350d457ed54904d409b53a9d113.png][]

没有空闲页怎么办？`Free list中取 > LRU中淘汰 > LRU Flush`

### 页面淘汰 ###

`LRU`尾部淘汰`Flush LRU`淘汰

`LRU`链表中将第一个脏页刷盘并“释放”，放到`LRU`尾部？直接放`FreeList`？

### 位置移动 ###

old 到 new new 到 old

![1980ed12cb160f144d2d40fcf91f0fa0.png][]

思考：移动时机是什么？`innodb_old_blocks_time`old区存活时间，大于此值，有机会进入new区

![bef39b67bec540be1f31b1d6f23ca524.png][]

`LRU_new`的操作 链表操作效率很高，有访问移动到表头？`Lock！！！``MySQL`设计思路：减少移动次数

两个重要参考：1、`freed_page_clock：Buffer Pool`淘汰页数 2、`LRU_new`长度1/4

当前`freed_page_clock` \- 上次移动到Header时`freed_page_clock>LRU_new长度1/4`

## 三、MySQL事务实现原理 ##

MySQL事务基本概念

### 1、事务特性 ###

A（`Atomicity`原子性）：全部成功或全部失败 I（`Isolation`隔离性）：并行事务之间互不干扰 D（`Durability`持久性）：事务提交后，永久生效 C（`Consistency`一致性）：通过AID保证

### 2、并发问题 ###

脏读(`Drity Read`)：读取到未提交的数据 不可重复读(`Non-repeatable read`)：两次读取结果不同 幻读(`Phantom Read`)：select 操作得到的结果所表征的数据状态无法支撑后续的业务操作

### 3、隔离级别 ###

`Read Uncommitted`（未提交读）：最低隔离级别，会读取到其他事务未提交的数据。脏读；`Read Committed`（提交读）：事务过程中可以读取到其他事务已提交的数据。不可重复读；`Repeatable Read`（可重复读）：每次读取相同结果集，不管其他事务是否提交，幻读；（两次当前读不会产生幻读）`Serializable`（串行化）：事务排队，隔离级别最高，性能最差；

### MySQL事务实现原理（事务管理机制） ###

#### 1、MVCC 多版本并发控制 ####

解决读-写冲突 如何工作：隐藏列

–当前读（读在存储引擎中存储的那个数据）

![f9864c206b4e24986b803160334ea667.png][]

RR级别下

![2d178ecc8f21ca5a2b6751ce24629bf9.png][]

#### 2、undo log ####

回滚日志 保证事务原子性 实现数据多版本`delete undo log`：用于回滚，提交即清理；`update undo log`：用于回滚，同时实现快照读，不能随便删除

![f56691794e4c8ef8ff2d7f6c40b40367.png][]

思考：undolog如何清理？依据系统活跃的最小活跃事务ID Read view 为什么InnoDB count（\*）这么慢？因为

#### 3、redo log ####

实现事务持久性

![330aba1710805453be1a060b39b0c932.png][]

写入流程 l 记录页的修改，状态为prepare l 事务提交，讲事务记录为commit状态

![6862b0d7550b88470bd9d892367b3784.png][] ![93a94f0271b4cf288f13ba1cf168aa51.png][]

#### 意义 ####

体积小，记录页的修改，比写入页代价低 末尾追加，随机写变顺序写，发生改变的页不固定

## 四、MySQL锁实现原理 ##

![5972512bdd0b42cacdb9d3602b28d921.png][]

所有当前读加排他锁，都有哪些是当前读？`SELECT FOR UPDATE``UPDATE``DELETE`

![e84b5bf7ca272fe2b085665129d1f103.png][] ![da0b8d28b14c62eb951c5a672bc6e36b.png][]

唯一索引/非唯一索引 `* RC/RR`4种情况逐一分析

![6793b9c77862c7ac8a137263ef99e23c.png][]

会出现幻读问题，不可重复读了

![8a35088d25dc1d03ba9ceca3f1b4505b.png][] ![f039e2bfee67e5ef568c25d6088c380b.png][] ![1f1e7bef4afa336fd6322a3b829e1520.png][] ![5f224eb93e5a586446f2f729a0a8545f.png][] ![023236b369f8d6a77d0e83c128d0bf18.png][] ![5a8fb1855372c076f04377112b6c8890.png][]

死锁在库表中有记录，通过kill 那个锁删除。

> 只是在于一点一滴的积累，加油！  
>

好了，今天就分享到这里了。期待你的关注、点赞、在看、转发！

加我微信，拉你进群，和大家一起聊技术、谈人生！

![ba65aa1740bc1211cb8e36a7c65fb111.png][]

来源：blog.csdn.net/weixin\_46269257

推荐阅读

*  [离职后，10天面试 4 家公司的总结][10_4]  
    
 *  [一套Spring Cloud Alibaba视频教程][Spring Cloud Alibaba]  
    
 *  [后端开发人员，学习之路][Link 3]
 *  [后端面试总结 23万，500多页（含答案）！][23_500]
 *  [112期面试汇总，建议收藏][112]

[JVM]: http://mp.weixin.qq.com/s?__biz=MzU4MDM3MDgyMA%3D%3D&chksm=fd557df9ca22f4efc57b8abeea251aa4e965c9b08af4428057d8062f8d60032c33f335679d39&idx=1&mid=2247505170&scene=21&sn=36ffb753df777d1b892163e07c22e312#wechat_redirect
[MySQL_offer]: http://mp.weixin.qq.com/s?__biz=MzU4MDM3MDgyMA%3D%3D&chksm=fd557ab0ca22f3a6754bdd71d976fd22bb3bc65e87f059c9a74f1db3e01f8fdff8d9844ac3e8&idx=1&mid=2247504475&scene=21&sn=11130bc937218b5e052c10cd8fa85a0c#wechat_redirect
[SQL]: http://mp.weixin.qq.com/s?__biz=MzU4MDM3MDgyMA%3D%3D&chksm=fd557949ca22f05fdf97feeb9f339951bfb62a592823578ae02b557d8f79022e6c02ab85aaab&idx=1&mid=2247504290&scene=21&sn=8431458c6d46bdccc8a91afd95f906de#wechat_redirect
[String s _ new String_111]: http://mp.weixin.qq.com/s?__biz=MzU4MDM3MDgyMA%3D%3D&chksm=fd554e7cca22c76a2c897360afa9e0c6f4ed7da42a571673158c2524cf46b2fea901163a474b&idx=1&mid=2247493271&scene=21&sn=f3c5bf9f67971ee6c9dacc0eb757b0e3#wechat_redirect
[userMapper]: http://mp.weixin.qq.com/s?__biz=MzU4MDM3MDgyMA%3D%3D&chksm=fd555a1dca22d30b64ae0760054523998b79277c5b6886813011504b7e717a8c29159223596f&idx=1&mid=2247496438&scene=21&sn=02020dac3415ac5d1887b88053d30ffb#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU4MDM3MDgyMA%3D%3D&chksm=fd557a94ca22f382326479915ee56139a95ac500a84f057544d8a279be42cfe468c29fd64638&idx=1&mid=2247504511&scene=21&sn=307daa44f37c3d55464e696f0423325d#wechat_redirect
[MySQL]: http://mp.weixin.qq.com/s?__biz=MzU4MDM3MDgyMA%3D%3D&chksm=fd557b5bca22f24d05c7add694d82f3e3598ed55c4ae4ba8fe133c2dd588da5c841c6f89d313&idx=1&mid=2247504816&scene=21&sn=527ed15852f11904728cb0da164bfa85#wechat_redirect
[MySQL 1]: http://mp.weixin.qq.com/s?__biz=MzU4MDM3MDgyMA%3D%3D&chksm=fd557d79ca22f46f643c98c5c4ac55292085a31545580c8f3ba8514aa0138f3391e6979d7ba3&idx=1&mid=2247505298&scene=21&sn=2c3551ca51dabd6943fcc53f66153676#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU4MDM3MDgyMA%3D%3D&chksm=fd557eddca22f7cb04e89e0ab32a303c43a32c1d38ffbbc529702f436b13bacfd901de5b4769&idx=1&mid=2247505462&scene=21&sn=58a19247ff95aadb47641f80caa5eda4#wechat_redirect
[b6179bda1ea9e3ddb4a00bbd27aac364.png]: /images/20220829/bcc68330bb8a4b2a9468583956e4eaec.png
[ae2f9960d491161cf77d979e81a1dc89.png]: /images/20220829/94c556c36a764abd89cc77f21ea89dcf.png
[3fffcac2e51a31d2ffeaf6335d932ff9.png]: /images/20220829/c62e2215c8bc4e5a97fe868405d94a37.png
[4524936923127fd7406d5ec1ac91617d.png]: /images/20220829/668ec3079438463988a0741cc9b84345.png
[3956d3d195f25205a97af03a001c1bbf.png]: /images/20220829/13be4e487ce240f0b0b39da252507da8.png
[04d39a69aacbee3eb1e081b1edeb5466.png]: /images/20220829/35d33bc1823c4c33b0ed41022b2b0d01.png
[1c92fece8f1f3d856f0e4ec585c3a299.png]: /images/20220829/02b3ef875e894d498f834c06a8214652.png
[a1b466b6839f8037afb5157c5fbbe233.png]: /images/20220829/c81f452a8e8f4d74a60fc28569e0d57b.png
[49be6eb7f3588f933c69734c9950a045.png]: /images/20220829/704b70586d004a79ae0881ffc271aedd.png
[ca1b58c4968565c2699dfdee76549a15.png]: /images/20220829/e7aff4f192e64cb4a20f694bb42a9450.png
[0b079f237a703ae59253dd236d5ced75.png]: https://img-blog.csdnimg.cn/img_convert/0b079f237a703ae59253dd236d5ced75.png
[d6dbd350d457ed54904d409b53a9d113.png]: /images/20220829/92c1273d3ce64ce3a7184232e3312d64.png
[1980ed12cb160f144d2d40fcf91f0fa0.png]: /images/20220829/17d8a68420984fe69eb6c8a9a92a17c9.png
[bef39b67bec540be1f31b1d6f23ca524.png]: /images/20220829/3970aac11d974a9987c975af0142eeb1.png
[f9864c206b4e24986b803160334ea667.png]: /images/20220829/6e0790380fe64b39939a6527dcde19e7.png
[2d178ecc8f21ca5a2b6751ce24629bf9.png]: /images/20220829/0eaf6c3998ee4ea6a86bf634adb1885d.png
[f56691794e4c8ef8ff2d7f6c40b40367.png]: /images/20220829/dab92378f2f74158a5f30cfb63635e72.png
[330aba1710805453be1a060b39b0c932.png]: /images/20220829/f29b328dc83645fda4240b02cb7558db.png
[6862b0d7550b88470bd9d892367b3784.png]: https://img-blog.csdnimg.cn/img_convert/6862b0d7550b88470bd9d892367b3784.png
[93a94f0271b4cf288f13ba1cf168aa51.png]: /images/20220829/16169d2bbd5e49dba20d507d71acc1ec.png
[5972512bdd0b42cacdb9d3602b28d921.png]: /images/20220829/dc47a94e488c4530b6c45ca1335d23d8.png
[e84b5bf7ca272fe2b085665129d1f103.png]: https://img-blog.csdnimg.cn/img_convert/e84b5bf7ca272fe2b085665129d1f103.png
[da0b8d28b14c62eb951c5a672bc6e36b.png]: /images/20220829/4a3e48810cb542fdb1e806a3d677704f.png
[6793b9c77862c7ac8a137263ef99e23c.png]: /images/20220829/8afa82dfe5f448548ab3bcea2ed1ffad.png
[8a35088d25dc1d03ba9ceca3f1b4505b.png]: https://img-blog.csdnimg.cn/img_convert/8a35088d25dc1d03ba9ceca3f1b4505b.png
[f039e2bfee67e5ef568c25d6088c380b.png]: https://img-blog.csdnimg.cn/img_convert/f039e2bfee67e5ef568c25d6088c380b.png
[1f1e7bef4afa336fd6322a3b829e1520.png]: https://img-blog.csdnimg.cn/img_convert/1f1e7bef4afa336fd6322a3b829e1520.png
[5f224eb93e5a586446f2f729a0a8545f.png]: https://img-blog.csdnimg.cn/img_convert/5f224eb93e5a586446f2f729a0a8545f.png
[023236b369f8d6a77d0e83c128d0bf18.png]: https://img-blog.csdnimg.cn/img_convert/023236b369f8d6a77d0e83c128d0bf18.png
[5a8fb1855372c076f04377112b6c8890.png]: /images/20220829/f6ed41bbf3b24a1a9e2378be2de04418.png
[ba65aa1740bc1211cb8e36a7c65fb111.png]: /images/20220829/9ce17da02c7d4c2a914ee108568285c5.png
[10_4]: http://mp.weixin.qq.com/s?__biz=MzU4MDM3MDgyMA%3D%3D&chksm=fd556459ca22ed4faf44bc01dbab47030bae7995cb0bcaa91b55a9e130b2a9e0be119dea29ef&idx=1&mid=2247503026&scene=21&sn=183d38a1172e3eb4d31f60783c477c38#wechat_redirect
[Spring Cloud Alibaba]: http://mp.weixin.qq.com/s?__biz=MzU4MDM3MDgyMA%3D%3D&chksm=fd556225ca22eb33a3859702053e4f6817f646264cf58fabe5c9f18144da347305a2a6d8b0e6&idx=2&mid=2247502542&scene=21&sn=efbdc5883e72041b423df9dd229723f1#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU4MDM3MDgyMA%3D%3D&chksm=fd555753ca22de4522b62563737854b0359847f046b416df20cdfa099ea81d8e03c8bb22f4d1&idx=1&mid=2247499704&scene=21&sn=e3a867f360e8a8cccf8d79e0652c36c0#wechat_redirect
[23_500]: http://mp.weixin.qq.com/s?__biz=MzU4MDM3MDgyMA%3D%3D&chksm=fd556535ca22ec2350b399f33fd1125ce75dd34f1351b47cb70c2a60ffad803853209fd083b4&idx=1&mid=2247503326&scene=21&sn=a35bd6b6dd62d742f34c7c80e8f8f421#wechat_redirect
[112]: http://mp.weixin.qq.com/s?__biz=MzU4MDM3MDgyMA%3D%3D&chksm=fd556527ca22ec310441fb12453e0bd624fb0e4bfa18919d1141d3641b9c462a9a28113dc95a&idx=2&mid=2247503308&scene=21&sn=0464ed003b29d85ae47f5b330cade32e#wechat_redirect