J. Cole 的 InnoDB 系列 - 1. 学习 InnoDB - 深入探索核心原理之旅

绝地灬酷狼 2022-10-23 02:56 107阅读 0赞

> 原文地址：https://blog.jcole.us/2013/01/02/on-learning-innodb-a-journey-to-the-core/，本系列翻译会在其基础上扩展一些 MySQL 源码相关的一些注释和思路解读，以及配图

我已经使用 InnoDB 大约十年了，我已经足够了解它并且可以用它做我想做的大部分事情。然而，为了实现一些更加高效的解决方案，我发现我需要更加深入理解它的原理与思想。不幸的是，InnoDB 文档对 InnoDB 的内部数据结构缺乏清晰明确的解释，阅读它的源码是深入了解其原理的唯一方法。

然而，在阅读源码的过程中我很快发现代码内部结构与联系非常复杂，导致我仅仅阅读代码很难理清其中的联系。希望正在阅读这篇文章的你能够通过仅仅阅读代码就能理清（对于我个人来说，在这个过程中我产生了很多误解）

我很久以来一直采取的一种方法来理解一些复杂且文档贫乏的东西，它包括以下三个步骤：

1.  **阅读现有文档和现有代码**，直到达成基本理解为止。在这一步中，经常会出现严重的误解或不正确的拆解。
2.  **编写我自己的实现**，即使是一个非常基本和简陋的实现。最好是用完全不同的语言编写（这样就避免了剪切和粘贴这种偷懒的倾向）根据什么有作用和什么不起作用来修改代码，并修正我的理解。
3.  **根据我的新理解总结新的文档和图表**。根据需要重构我的实现(在总结文档的时候，会回顾代码，这经常会发现当时实现的问题并优化原有设计)。基于重构的代码，改正文档。重复这个过程直到正确。

# InnoDB 磁盘数据结构的实现 #

我开启了 [`innodb_ruby`][innodb_ruby] 这个项目用 Ruby 来实现 InnoDB 磁盘数据结构。我之所以选择Ruby，是因为它非常灵活，用于原型开发非常快速，而且它是我目前最喜欢的语言。其实任何语言都可以，性能也不是问题(尽管我们不希望它成为问题，因为这会让测试变得烦人)

项目启动后，我在几分钟之内实现了非常基础的 `FIL` 头解析（所有的 InnoDB 页类型的这部分都是一样的）。然后又用了几个小时，实现了 `INDEX` 页头部并且可以回答一些非常基本的问题，例如在每一索引页有多少记录，这还是比较有用的。

按照我想更深入了解 InnoDB 存储的顺序，我继续实现了我所需要的每一个关键数据结构，Davi 也参与其中编写了一些细节的实现，比如处理记录中的可变宽度字段类型。

我们现在已经基本实现了 InnoDB 主要数据结构的只读实现。

# 记录InnoDB的磁盘数据结构 #

当我解开了足够多的 InnoDB 的秘密之后，我觉得我可以开始画一些比较准确的图片来更好的展示 InnoDB 存储的原理，于是我开始为所有主要的 InnoDB 磁盘数据结构建立清晰易懂的图表。我开启了 [`innodb_diagrams`][innodb_diagrams] 这个项目，并且选用了 OmniGraffle 这个绘图软件。（555~能否照顾下我们这些用不起 MacBook 的人呀）

这是，文档中的表空间文件的大部分磁盘存储格式(ibdataX 和 \*.ibd 文件)都是基于 Barracuda 行格式的存储(COMPACT 行格式的记录)。对于 Antelope 行格式(REDUNDANT 行格式的记录)还有大部分文档需要补充。日志文件目前也是需要补充文档。

# 使用代码以及图表 #

目前我们已经有实现交互展示的代码，以及可以成为很好的辅助资料的图片，我打算继续写几篇关于一些更有趣但是还没有文档的文章。请持续关注吧~~

[innodb_ruby]: https://github.com/jeremycole/innodb_ruby
[innodb_diagrams]: https://github.com/jeremycole/innodb_diagrams