使用多线程会加快文件读取速度吗？

╰+哭是因爲堅強的太久メ 2023-07-12 08:55 26阅读 0赞

前几天遇到一个很有意思的问题，提炼出来就是使用多线程去读取文件的话会加快读取速度吗？

在往下看之前先自己想一想，同样如果在面试中问你这个问题该怎么回答呢？

假设有一个文件大小为10G，我们需要将其读取到内存中(假设内存能容纳下该文件)，那么使用多个线程分块去读取的话会加快读取速度吗，比如我们创建两个线程，一个线程读取前5G数据；另一个线程读取后5G数据，这会比只是用一个线程将其读入内存快吗？

先说答案，**使用多个线程去读取文件通常是一个bad idea**。

为什么？

#### 烧菜是需要时间的 ####

为什么使用多个线程去读取文件通常是一个bad idea呢？

原因就在于虽然我们可以使用多个线程来充分利用多个CPU核心，但是不要忘了，**磁盘只有一个**。

因此简单的使用多个线程并不能加快文件的读取速度。这就好比一个餐馆，这个餐馆中有多个服务员，但是只有一个厨师；服务员下单很简单，即一句话的事儿，但是厨师做一道菜出来是需要很多时间的，一个服务员下的单就够厨师忙的了，多个服务员同时下单并不能提高厨师的产出。

在这里服务员就好比CPU，厨师就好比磁盘。

实际上使用多个线程来读取文件可能会使得情况更加糟糕，这就涉及到了对磁盘结构的理解。

#### 理解磁盘 ####

当然，这里的磁盘是指的机械磁盘，这类磁盘需要把磁头放到正确的磁道上，接着等待相应的扇区转到该磁头下才可以读取磁盘数据。

因此磁盘中最耗时的其实并不是把数据从磁盘读取到磁头，最耗时的其实是把磁头移动到正确的磁道上，这个步骤最耗时，有的同学可能会有疑问，为什么这个步骤是最耗时的呢？

不要忘了，我们说的是机械磁盘，磁头的移动相对电子的速度是极慢的，使用多个线程来读取文件的话，**磁头可能要在不同的磁道间来回移动以满足各个线程的文件读取请求**，这个过程对磁盘性能的影响是非常大的。

现在你该知道为什么多线程读取文件不会加快读取速度了吧。

#### 最佳实践 ####

理解了磁盘的原理之后我们就明白了，实际上磁盘的顺序读取才是最快速的，这就是为什么我们把2G的电影copy到磁盘的速度要远远快于把2G的多个文件copy到磁盘的速度快很多的原因。

因此比较好的办法就是使用一个线程来读取一个大文件，要想加快数据处理速度可以等文件读取完成后使用多个线程来处理这些已经加载到内存中的数据。

#### 总结 ####

一个看似简单的问题其实往往并不是我们想的那么容易，这涉及到了对磁盘理解，只有对计算机各个系统有了一个透彻的理解后，解决问题才能从关键着手。

更多计算机内功文章，欢迎关注微信公共账号：**码农的荒岛求生**。

![在这里插入图片描述][20191206192834708.jpg_pic_center]  
***彻底理解操作系统系列文章***  
1，[什么程序？][Link 1]  
2，[进程？程序？傻傻分不清][Link 2]  
3，[程序员应如何理解内存：上篇][Link 3]  
4，[程序员应如何理解内存：下篇][Link 4]

> ***计算机内功决定程序员职业生涯高度***

[20191206192834708.jpg_pic_center]: https://img-blog.csdnimg.cn/20191206192834708.jpg#pic_center
[Link 1]: https://blog.csdn.net/github_37382319/article/details/94867431
[Link 2]: https://blog.csdn.net/github_37382319/article/details/99656274
[Link 3]: https://blog.csdn.net/github_37382319/article/details/99688951
[Link 4]: https://blog.csdn.net/github_37382319/article/details/99688821