图解 | 你管这破玩意叫文件系统？

灰太狼 2023-01-17 10:45 161阅读 0赞

点击上方蓝色“石杉的架构笔记”，选择“设为星标”
    
    回复“PDF”获取独家整理的学习资料！

![35a5095bffdb831a79895c0e675f6965.png][]

**![fa2ea53f34193f5fba5d717d8a9658dc.png][]**

![761a4bea5e85daa9e6af034d50a79256.png][]

长按扫描上方免费领取

![614e8efa527f10fc352101d3588a9fca.png][]

**你手里有一块硬盘，大小为 1T**

![720e250382e4a063d2e239fff372b1c9.png][]

**你还有一堆文件**

![d436cf1e57eafc6962ca9d62717c5547.png][]

这些文件在硬盘看来，就是一堆二进制数据而已

![e4de2f86f95470286e336068d61dbff0.png][]

你准备把这些文件存储在硬盘上，并在需要的时候读取出来。

要设计怎样的软件，才能更方便地在硬盘中读写这些文件呢？

#  #

首先我不想和复杂的扇区，设备驱动等细节打交道，因此我先实现了一个简单的功能，将硬盘按逻辑分成一个个的**块**，并可以以块为单位进行读写。

每个块就定义为两个物理扇区的大小，即 1024 字节，就是 1KB 啦。

硬盘太大不好分析，我们就假设你的硬盘只有 1MB，那么这块硬盘则有 1024 个块。

![27d4f67be6c8e20d09b78b819abed096.png][]

OK，我们开始存文件啦！

准备一个文件

![04e13817d298f650c95ba8216ab0c490.png][]

随便选个块放进去，3 号块吧！

![b5bffe459d39a899fe0567a8bf4096a3.png][]

成功！首战告捷！

# 2 #

再存一个文件！

诶？发现问题了，万一这个文件也存到了 3 号块，不是把原来的文件覆盖了么？不行，得有一个地方记录，现在可使用的块有哪些，像这样。

块 0：未使用

块 1：未使用

块 2：未使用

块 3：已使用

块 4：未使用

...

块 1023：未使用

那我们就用 0 号块，来记录所有块的使用情况吧！怎么记录呢？

**位图！**

![7335819f6207fb4e7ecffa468ed25cb3.gif][]

那我们给块 0 起个名字，叫**块位图**，之后这个块 0 就专门用来记录所有块的使用情况，不再用来存具体文件了。

![9436013ea31bfa25599541d01031cca5.png][]

当我们再存入一个新文件时，只需要在块位图中找到第一个为 0 的位，就可以找到第一个还未被使用的块，将文件存入。同时，别忘了把块位图中的相应位置 1。

完美！

# 3 #

下面，我们尝试读取刚刚的文件。

咦？又遇到问题了，我怎么找到刚刚的文件呢？根据块号么？这也太蠢了，就像你去书店找书，店员让你提供书的编号，而不是书名，显然不合理。

因此我们给每个文件起一个名字，叫**文件名**，通过它来寻找这个文件。

那必然就要有一个地方，记录文件名与块号的对应关系，像这样。

葵花宝典.txt：3 号块

数学期末复习资料.mp4：5 号块

低并发编程的秘密.pdf：10 号块

...

别急，既然都要选一个地方记录文件名称了，不妨多记录一点我们关心的信息吧，比如文件大小、文件创建时间、文件权限等。

这些东西自然也要保存在硬盘上，我们选择用一个固定大小的空间，来表示这些信息，多大空间呢？128 字节吧。

为啥是 128 字节呢？我乐意。

![9e10ba89a15537e162c9b430ac545815.png][]

我们将这 128 字节的结构体，叫做一个 **inode**。

之后，我们每存入一个新的文件，不但要占用一个块来存放这个文件本身，还要占用一个 inode 来存放文件的这些**元信息**，并且这个 inode 的**所在块号**这个字段，就指向这个文件所在的块号。

![dca58d0ca7ef78f4ca8a942c0c1be70d.png][]

如果一个 inode 为 128 字节，那么一个块就可以容纳 8 个 inode，我们可以将这些 inode 编上号。

![c5134bef8f39d2c7d0416d14d528409e.png][]

如果你觉得 inode 数不够，也可以用两个或者多个块来存放 inode 信息，但这样用于存放数据的块就少了，这就看你自己的平衡了。

![eeb23fa125609112692e078c9b437011.png][]

同样，和块位图管理块的使用情况一样，我们也需要一个** inode 位图**，来管理 inode 的使用情况。我们就把 inode 位图，放在 1 号块吧！

同时，我们把 inode 信息，放在 2 号块，一共存 8 条 inode，这样我们的 2 号块就叫做 **inode 表**。

现在，我们的文件系统结构，变成了下面这个样子。

![5abb1f4c4668eaa16b3fa5dcd2e6ef1d.png][]

注意：块位图是管理可用的块，每一位代表一个块的使用与否。inode 位图管理的是一条一条的 inode，并不是 inode 所占用的块，比如上图中有 8 条 inode，则 inode 位图中就有 8 位是管理他们的使用与否。

# 4 #

现在，我们的文件很小，一个块就能容下。

但如果需要两个块、三个块、四个块呢？

很简单，我们只需要采用**连续存储法**，而 inode 则只记录文件的第一个块，以及后面还需要多少块，即可。

这种办法的缺点就是：容易留下大大小小的**空洞**，新的文件到来以后，难以找到合适的空白块，空间会被浪费。

![2bda0d1d33d00c306f131a808891f0e5.png][]

看来这种方式不行，那怎么办呢？

既然在 inode 中记录了文件所在的块号，为什么不扩展一下，多记录几块呢？

![573fb714257ef2cd0e04078ab6c45e52.png][]

原来在 inode 中只记录了一个块号，现在扩展一下，记录 8 个块号！而且这些块**不需要连续**。

![0f02047ae6160dc669e7ca795631ad7a.png][]

嗯，这是个可行的办法！

但是这也仅仅能表示 8 个块，能记录的最大文件是 8K（记住，一个块是 1K）, 现在的文件轻松就超过这个限制了，这怎么办？

很简单，我们可以让其中一个块，作为**间接索引**。

![eb5e2121166323f5603beb4ccb1dd63b.png][]

这样瞬间就有 263 个块（多了 256 -1 个块）可用了，这种索引叫**一级间接索引**。

如果还嫌不够，就再弄一个块做一级间接索引，或者做二级间接索引（二级间接索引则可以多出 256 \* 256 - 1 个块）。

我们的文件系统，暂且先只弄一个一级间接索引。硬盘一共才 1024 个块，一个文件 263 个块够大了。再大了不允许，就这么任性，爱用不用。

好了，现在我们已经可以保存很大的文件了，并且可以通过文件名和文件大小，将它们准确读取出来啦！

# 5 #

但我们得精益求精，我们再想想看这个文件系统有什么毛病。

比如，inode 数量不够时，我们是怎么得知的呢？是不是需要在 inode 位图中找，找不到了才知道不够用了？

同样，对于块数量不够时，也是如此。

要是有个全局的地方，来记录这一切，就好了，也方便随时调整，比如这样

inode 数量

空闲 inode 数量

块数量

空闲块数量

那我们就再占用一个块来存储这些数据吧！由于他们看起来像是站在上帝视角来描述这个文件系统的，所以我们把它放在最开始的块上，并把它叫做**超级块**，现在的布局如下。

![bd723410a00ea6f4fab9bcb13aad1105.png][]

我们继续精益求精。

现在，**块位图**、**inode 位图**、**inode 表**，都是是固定地占据这块 1、块 2、块 3 这三个位置。

假如之后 inode 的数量很多，使得 inode 表或者 inode 位图需要占据多个块，怎么办？

或者，块的数量增多（硬盘本身大了，或者每个块变小了），块位图需要占据多个块，怎么办？

程序是死的，你不告诉它哪个块表示什么，它可不会自己猜。

很简单，与超级块记录信息一样，这些信息也选择一个块来记录，就不怕了。那我们就选择紧跟在超级块后面的 1 号块来记录这些信息吧，并把它称之为**块描述符**。

![d49ea77a9fd2da2b91ed5ec46e732c6b.png][]

当然，这些所在块号只是记录起始块号，块位图、inode 位图、inode 表分别都可以占用多个块。

好了，大功告成！

# 6 #

现在，我们再尝试存入一批文件。

*  葵花宝典.txt
 *  数学期末复习资料.mp4
 *  赘婿1.mp4
 *  赘婿2.mp4
 *  赘婿3.mp4
 *  赘婿4.mp4
 *  低并发编程的秘密.pdf

诶？这看着好不爽，所有的文件都是平铺开的，能不能拥有**层级关系**呢？比如这样

*  葵花宝典.txt
 *  数学期末复习资料.mp4
 *  赘婿
 *   *  赘婿1.mp4
     *  赘婿2.mp4
     *  赘婿3.mp4
     *  赘婿4.mp4
 *  低并发编程的秘密.pdf

我们将葵花宝典.txt 这种称为**普通文件**，将赘婿这种称为**目录文件**，如果要访问赘婿1.mp4，那全文件名要写成

赘婿/赘婿1.mp4。

如何做到这一点呢？那我们又得把 inode 结构拿出来说事了。

![9c028233b6e2133c6c46d54e1f7d3b89.png][]

此时需要一个属性来区分这个文件是普通文件，还是目录文件。

缺什么就补什么嘛，我们已经很熟悉了，专门加一个 4 字节，来表示**文件类型**。

![1cbf624d85c0daa952c8991d1fdf138d.png][]

如果是**普通文件**，则这个 inode 所指向的数据块仍然和之前一样，就是文件本身原封不动的内容。

但如果是**目录文件**，则这个 inode 所指向的数据块，就需要重新规划了。

这个数据块里应该是什么样子呢？可以是一个一个指向不同 inode 的紧挨着的结构体，比如这样。

![9ffc1bd4bfd7087967fa6f57ea5cb6d3.png][]

这样先通过 **赘婿 **这个目录文件，找到所在的数据块。再根据这个数据块里的一个个带有 **inode** 信息的结构体，找到这个目录下的所有文件。

完美！

# 7 #

不过这样的话，你想想看，如果想要查看一下赘婿**这个目录下的所有文件**（比如 ll 命令），将文件名和文件类型都展示出来，怎么办呢？

就需要把一个个结构体指向的 inode 从 inode 表中取出，再把文件名和文件类型取出，这很是浪费时间。

而让用户看到一个目录下的所有文件，又是一个极其常见的操作。

所以，不如把文件名和文件类型这种常见的信息，放在数据块中的结构体里吧。

![69a60973bbbf21424180dfa33812bf4a.png][]

同时，inode 结构中的文件名，好像就没啥用了，这种变长的东西放在这种定长的结构中本身就很讨厌，早就想给它去掉了。而且还能给其他信息省下空间，比如文件所在块的数组，就能再多几个了。

太好了，去掉它！

![aca5e74ea183ffeb12353bdce84db584.png][]

OK，大功告成，现在我们就可以给文件分门别类放进不同目录下了，还可以在目录下创建目录，无限套娃！

# 8 #

现在的文件系统，已经比较完善了，只是还有一点不太爽。

我们访问到一个目录下，可以很舒服地看到目录里的文件，然后再根据名称访问这个目录下的文件或者目录，整个过程都是一个套路。

但是，最上层的目录下的所有文件，即**根目录**，现在仍然需要通过遍历所有的 inode 来获得，能不能和上面的套路统一呢？

答案非常简单，我们规定，**inode 表中的 0 号 inode，就表示根目录**，一切的访问，就从这个根目录开始！

![c9fe10fffcecd9f22634d3a4e3cd8bf3.png][]

好了，这回没有然后了！

我们最后来欣赏下我们的文件系统架构。

![7427d66112cdcf4ca65c9e15af306e8a.png][]

## 你是不是觉得这没啥了不起的。  **但这个破玩意，它就叫文件系统** ##

# **后记** #

这个文件系统，和 linux 上的经典文件系统 **ext2** 基本相同。

下面是我画的 ext2 文件系统的结构（字段部分只画了核心字段）

![9b48d87d59667053665b343f1d8afd6d.png][]

估计你是看不清了，我说下主要异同点：

1. 超级块前面是启动块，这个是 PC 联盟给硬盘规定的 1KB 专属空间，任何文件系统都不能用它。

2. ext2 文件系统首先将整个硬盘分为很多块组，但如果只有一个块组的话，和我们的文件系统整体结构就完全一样了，分别是超级块、块描述符、块位图、inode 位图、inode 表、数据块。

3. ext2 文件系统的 inode 表中用 15 个块来定位文件，其中第 13 个块为一级间接索引、14 个为二级间接索引、15 个为三级间接索引。

4. ext2 文件系统的文件类型分得更多，还有常见的如块设备文件、字符设备文件、管道文件、socket 文件等。

5. ext2 文件系统的超级块、块描述符、inode 表中记录的信息更多，但核心的和我们的文件系统一样，而且这些字段在后续的 ext3 和 ext4 中不断增加，保持向前兼容。

6. ext2 文件系统的 2 号 inode 为根目录，而我们的系统是 0 号 inode 为根目录，这个很随意，你设计一个文件系统定一个 187 号 inode 为根目录也没人拦着你。

如果你想了解 ext2 文件系统的全部细节，有三种方式。

1. 看源码，linux1.0 后的源码都有 ext2 文件系统的实现，源码是最准确的。

2. 看官方文档，这里有个 pdf 连接。  
https://www.nongnu.org/ext2-doc/ext2.pdf

3. 看优质博客，这里我推荐一个。  
http://docs.linuxtone.org/ebooks/C&CPP/c/ch29s02.html

4. 用 linux 的 mke2fs 命令生成一个 ext2 文件系统的磁盘镜像，然后一个字节一个字节分析其格式，可以在公众号 低并发编程 回复 ext2 获得我的镜像分析文件。

如果看源码和官方文档毫不吃力，我当然主推这两个，因为毕竟是一手资料。

但大多数人可能无法做到，有时也没大必要，因此也可以看一些优质的博客。

**介绍思想**的，我觉得我这一篇就算是很优质的一篇了，它会带你从设计者角度了解为什么这样来设计文件系统。

**介绍细节**的，那些连文件系统的格式和字段都写不对的，就别看了，所以我这里良心推荐一篇，就是上面的方式三，可以放心大胆，逐字逐句地食用。

最后你还可以用方式四，自己将文件系统镜像导出来，进行分析。

最近写这几篇文章，我感觉对如何学会一项新的技术，有了点小心得，不知道大家是否感兴趣，改天可以找一篇来专门和大家分享一下。

完~

![7c371dd3758ffc422f616096cbfe723e.png][]

[35a5095bffdb831a79895c0e675f6965.png]: /images/20221021/71cfbe79e1204b9fb6122cc04ab4d357.png
[fa2ea53f34193f5fba5d717d8a9658dc.png]: /images/20221021/98aa74939b90434fb63c84cd94c7a324.png
[761a4bea5e85daa9e6af034d50a79256.png]: /images/20221021/d619ade9f61941179815614734111c18.png
[614e8efa527f10fc352101d3588a9fca.png]: /images/20221021/58be576311a444f9afd5dce4720c5b1b.png
[720e250382e4a063d2e239fff372b1c9.png]: /images/20221021/77c5d3063b7c4dd7823100f279055a5c.png
[d436cf1e57eafc6962ca9d62717c5547.png]: /images/20221021/aeb09a2107744be7bbe3c082f3174d31.png
[e4de2f86f95470286e336068d61dbff0.png]: /images/20221021/276f50678b2b4596a96222ea67429174.png
[27d4f67be6c8e20d09b78b819abed096.png]: /images/20221021/2079a58a973443ab8431770573305a7f.png
[04e13817d298f650c95ba8216ab0c490.png]: /images/20221021/725a6433d10b4d2d8f5235bef3a7fb4b.png
[b5bffe459d39a899fe0567a8bf4096a3.png]: /images/20221021/57640f4820f84beb81f4a02687db50d7.png
[7335819f6207fb4e7ecffa468ed25cb3.gif]: /images/20221021/4f60ef16138440e1a0b974dac797e427.png
[9436013ea31bfa25599541d01031cca5.png]: /images/20221021/88e1e20188774400b961724fff61ed8f.png
[9e10ba89a15537e162c9b430ac545815.png]: /images/20221021/b61f097521874e28b62ae591c13bb3b8.png
[dca58d0ca7ef78f4ca8a942c0c1be70d.png]: /images/20221021/961f23385d614f3591c77ac90ddaf01b.png
[c5134bef8f39d2c7d0416d14d528409e.png]: /images/20221021/a517ecbf3f1641478c9b3f02214af1fa.png
[eeb23fa125609112692e078c9b437011.png]: /images/20221021/0a685ceb8b734eed8e362a2285bb1f16.png
[5abb1f4c4668eaa16b3fa5dcd2e6ef1d.png]: /images/20221021/1f2fbb625f5249e0a6c5441070bbbf8d.png
[2bda0d1d33d00c306f131a808891f0e5.png]: /images/20221021/f847a081fa4c41088572b827187363eb.png
[573fb714257ef2cd0e04078ab6c45e52.png]: /images/20221021/3cb8f11426dd44c5a864df51d324558c.png
[0f02047ae6160dc669e7ca795631ad7a.png]: /images/20221021/d86138de95b94b51aeff1b325d85a025.png
[eb5e2121166323f5603beb4ccb1dd63b.png]: /images/20221021/05931d93d74e482ea22b831610a415ef.png
[bd723410a00ea6f4fab9bcb13aad1105.png]: /images/20221021/92ce4f84379c4cda8c43c91a6c8f86c2.png
[d49ea77a9fd2da2b91ed5ec46e732c6b.png]: /images/20221021/3731512ebf6140feba24d2b2769c5bb8.png
[9c028233b6e2133c6c46d54e1f7d3b89.png]: /images/20221021/c230f4fb513a4a52bb95d89d9a1a12ed.png
[1cbf624d85c0daa952c8991d1fdf138d.png]: /images/20221021/ca99788ee94441c3beb7c91718a1785d.png
[9ffc1bd4bfd7087967fa6f57ea5cb6d3.png]: /images/20221021/a9dec374ccad4d1e9ed258ebe10b8e4b.png
[69a60973bbbf21424180dfa33812bf4a.png]: /images/20221021/f2f5466d8e4b4e69a28e1b77fc6f6215.png
[aca5e74ea183ffeb12353bdce84db584.png]: /images/20221021/57e018e3024b46179ab389ee05000fe0.png
[c9fe10fffcecd9f22634d3a4e3cd8bf3.png]: /images/20221021/a762bea4732746e7988cd9cb735a5806.png
[7427d66112cdcf4ca65c9e15af306e8a.png]: /images/20221021/50fc0a49f66c406fbe7d633628e4d519.png
[9b48d87d59667053665b343f1d8afd6d.png]: /images/20221021/a839389c501e43c18e7e7e7cbaa8bb13.png
[7c371dd3758ffc422f616096cbfe723e.png]: /images/20221021/97c7f3dde027441ea204b02e42cc6f3b.png