Redis网络模型(IO多路复用+事件派发机制)

- 日理万妓 2024-03-22 12:47 59阅读 0赞

#### 文章目录 ####

*   *  1 用户空间和内核态空间
     *  2 阻塞IO
     *  3 非阻塞IO
     *  4 IO多路复用
     *   *  4.1 IO多路复用-select方式
         *  4.2 IO多路复用模型-poll模式
         *  4.3 IO多路复用模型-epoll函数
         *  4.4 epoll中的事件通知机制——ET和LT
         *  4.5 基于epoll的服务器端流程
     *  5 网络模型-信号驱动
     *  6 异步IO
     *  5&6 对比
     *  Redis是单线程的吗？为什么使用单线程?
     *  Redis单线程和多线程网络模型变更

### 1 用户空间和内核态空间 ###

服务器大多都采用Linux系统，这里我们以Linux为例来讲解:

ubuntu和Centos 都是Linux的发行版，发行版可以看成对linux包了一层壳，任何Linux发行版，其系统内核都是Linux。我们的应用都需要通过Linux内核与硬件交互

![1653844970346][]

用户的应用，比如redis，mysql等其实是没有办法去执行访问我们操作系统的硬件的，所以我们可以通过发行版的这个壳子去访问内核，再通过内核去访问计算机硬件

![1653845147190][]

计算机硬件包括，如cpu，内存，网卡等等，内核（通过寻址空间）可以操作硬件的，但是内核需要不同设备的驱动，有了这些驱动之后，内核就可以去对计算机硬件去进行 内存管理，文件系统的管理，进程的管理等等

![1653896065386][]

我们想要用户的应用来访问，计算机就必须要通过对外暴露的一些接口，才能访问到，从而简介的实现对内核的操控，但是内核本身上来说也是一个应用，所以他本身也需要一些内存，cpu等设备资源，用户应用本身也在消耗这些资源，如果不加任何限制，用户去操作随意的去操作我们的资源，就有可能导致一些冲突，甚至有可能导致我们的系统出现无法运行的问题，因此我们需要把用户和内核隔离开

进程的寻址空间划分成两部分：**内核空间、用户空间**

什么是寻址空间呢？我们的应用程序也好，还是内核空间也好，都是没有办法直接去物理内存的，而是通过分配一些虚拟内存映射到物理内存中，我们的内核和应用程序去访问虚拟内存的时候，就需要一个虚拟地址，这个地址是一个无符号的整数，比如一个32位的操作系统，他的带宽就是32，他的虚拟地址就是2的32次方，也就是说他寻址的范围就是0~2的32次方， 这片寻址空间对应的就是2的32个字节，就是4GB，这个4GB，会有3个GB分给用户空间，会有1GB给内核系统

![1653896377259][]

在linux中，他们权限分成两个等级，0和3，用户空间只能执行受限的命令（Ring3），而且不能直接调用系统资源，必须通过内核提供的接口来访问内核空间可以执行特权命令（Ring0），调用一切系统资源，所以一般情况下，用户的操作是运行在用户空间，而内核运行的数据是在内核空间的，而有的情况下，一个应用程序需要去调用一些特权资源，去调用一些内核空间的操作，所以此时他俩需要在用户态和内核态之间进行切换。

比如：

Linux系统为了提高IO效率，会在用户空间和内核空间都加入缓冲区：

写数据时，要把用户缓冲数据拷贝到内核缓冲区，然后写入设备

读数据时，要从设备读取数据到内核缓冲区，然后拷贝到用户缓冲区

针对这个操作：我们的用户在写读数据时，会去向内核态申请，想要读取内核的数据，而内核数据要去等待驱动程序从硬件上读取数据，当从磁盘上加载到数据之后，内核会将数据写入到内核的缓冲区中，然后再将数据拷贝到用户态的buffer中，然后再返回给应用程序，整体而言，速度慢，就是这个原因，为了加速，我们希望read也好，还是wait for data也最好都不要等待，或者时间尽量的短。

![1653896687354][]

### 2 阻塞IO ###

在《UNIX网络编程》一书中，总结归纳了5种IO模型：

*  阻塞IO（Blocking IO）
 *  非阻塞IO（Nonblocking IO）
 *  IO多路复用（IO Multiplexing）
 *  信号驱动IO（Signal Driven IO）
 *  异步IO（Asynchronous IO）

应用程序想要去读取数据，他是无法直接去读取磁盘数据的，他需要先到内核里边去等待内核操作硬件拿到数据，这个过程就是1，是需要等待的，等到内核从磁盘上把数据加载出来之后，再把这个数据写给用户的缓存区，这个过程是2，如果是阻塞IO，那么整个过程中，用户从发起读请求开始，一直到读取到数据，都是一个阻塞状态。

![1653897115346][]

具体流程如下图：

用户去读取数据时，会去先发起recvform一个命令，去尝试从内核上加载数据，如果内核没有数据，那么用户就会等待，此时内核会去从硬件上读取数据，内核读取数据之后，会把数据拷贝到用户态，并且返回ok，整个过程，都是阻塞等待的，这就是阻塞IO

总结如下：

顾名思义，阻塞IO就是两个阶段都必须阻塞等待：

阶段一：

*  用户进程尝试读取数据（比如网卡数据）
 *  此时数据尚未到达，内核需要等待数据
 *  此时用户进程也处于阻塞状态

阶段二：

*  数据到达并拷贝到内核缓冲区，代表已就绪
 *  将内核数据拷贝到用户缓冲区
 *  拷贝过程中，用户进程依然阻塞等待
 *  拷贝完成，用户进程解除阻塞，处理数据

可以看到，阻塞IO模型中，用户进程在两个阶段都是阻塞状态。

![1653897270074][]

### 3 非阻塞IO ###

顾名思义，非阻塞IO的recvfrom操作会立即返回结果而不是阻塞用户进程。

阶段一：

*  用户进程尝试读取数据（比如网卡数据）
 *  此时数据尚未到达，内核需要等待数据
 *  返回异常给用户进程
 *  用户进程拿到error后，再次尝试读取
 *  循环往复，直到数据就绪

阶段二：

*  将内核数据拷贝到用户缓冲区
 *  拷贝过程中，用户进程依然阻塞等待
 *  拷贝完成，用户进程解除阻塞，处理数据
 *  可以看到，非阻塞IO模型中，用户进程在第一个阶段是非阻塞，第二个阶段是阻塞状态。虽然是非阻塞，但性能并没有得到提高。而且忙等机制会导致CPU空转，CPU使用率暴增。

![6105bdd2b71d4b20a831f1225a325490.png][]

### 4 IO多路复用 ###

一个服务员监听多个顾客

无论是阻塞IO还是非阻塞IO，用户应用在一阶段都需要调用recvfrom来获取数据，差别在于无数据时的处理方案：

如果调用recvfrom时，恰好没有数据，阻塞IO会使CPU阻塞，非阻塞IO使CPU空转，都不能充分发挥CPU的作用。  
如果调用recvfrom时，恰好有数据，则用户进程可以直接进入第二阶段，读取并处理数据

所以怎么看起来以上两种方式性能都不好

而在单线程情况下，只能依次处理IO事件，如果正在处理的IO事件恰好未就绪（数据不可读或不可写），线程就会被阻塞，所有IO事件都必须等待，性能自然会很差。

就比如服务员给顾客点餐，**分两步**：

*  顾客思考要吃什么（等待数据就绪）
 *  顾客想好了，开始点餐（读取数据）

要提高效率有几种办法？

方案一：增加更多服务员（多线程）  
方案二：不排队，谁想好了吃什么（数据就绪了），服务员就给谁点餐（用户应用就去读取数据）

那么问题来了：用户进程如何知道内核中数据是否就绪呢？

所以接下来就需要详细的来解决多路复用模型是如何知道到底怎么知道内核数据是否就绪的问题了

这个问题的解决依赖于提出的

文件描述符（File Descriptor）：简称FD，是一个从0 开始的无符号整数，用来关联Linux中的一个文件。在Linux中，一切皆文件，例如常规文件、视频、硬件设备等，当然也包括网络套接字（Socket）。

通过FD，我们的网络模型可以利用一个线程监听多个FD，并在某个FD可读、可写时得到通知，从而避免无效的等待，充分利用CPU资源。

阶段一：

*  用户进程调用select，指定要监听的FD集合
 *  核监听FD对应的多个socket
 *  任意一个或多个socket数据就绪则返回readable
 *  此过程中用户进程阻塞

阶段二：

*  用户进程找到就绪的socket
 *  依次调用recvfrom读取数据
 *  内核将数据拷贝到用户空间
 *  用户进程处理数据

当用户去读取数据的时候，不再去直接调用recvfrom了，而是调用select的函数，select函数会将需要监听的数据交给内核，由内核去检查这些数据是否就绪了，如果说这个数据就绪了，就会通知应用程序数据就绪，然后来读取数据，再从内核中把数据拷贝给用户态，完成数据处理，如果N多个FD一个都没处理完，此时就进行等待。

用IO复用模式，可以确保去读数据的时候，数据是一定存在的，他的效率比原来的阻塞IO和非阻塞IO性能都要高

![1653898691736][]

IO多路复用是利用单个线程来同时监听多个FD，并在某个FD可读、可写时得到通知，从而避免无效的等待，充分利用CPU资源。不过监听FD的方式、通知的方式又有多种实现，常见的有：

*  select
 *  poll
 *  epoll

其中select和pool相当于是当被监听的数据准备好之后，他会把你监听的FD整个数据都发给你，你需要到整个FD中去找，哪些是处理好了的，需要通过遍历的方式，所以性能也并不是那么好

select和pool相当于顾客桌子上有个灯,有人要点餐这个灯就亮,服务员就去一个个问是谁要点餐啊

--------------------

而epoll，则相当于内核准备好了之后，他会把准备好的数据，直接发给你，咱们就省去了遍历的动作。

epoll，则相当于顾客想点餐, 服务员直接在台子上的电脑上就看到了是几号桌要点

#### 4.1 IO多路复用-select方式 ####

select是Linux最早是由的I/O多路复用技术：

简单说，就是我们把需要处理的数据封装成FD，然后在用户态时创建一个fd的集合（这个集合的大小是要监听的那个FD的最大值+1，但是大小整体是有限制的 ），这个集合的长度大小是有限制的，同时在这个集合中，标明出来我们要控制哪些数据，

比如要监听的数据，是1,2,5三个数据，此时会执行select函数，然后将整个fd发给内核态，内核态会去遍历用户态传递过来的数据，如果发现这里边都数据都没有就绪，就休眠，直到有数据准备好时，就会被唤醒，唤醒之后，再次遍历一遍，看看谁准备好了，然后再将处理掉没有准备好的数据，最后再将这个FD集合写回到用户态中去，此时用户态就知道了，奥，有人准备好了，但是对于用户态而言，并不知道谁处理好了，所以用户态也需要去进行遍历，然后找到对应准备好数据的节点，再去发起读请求，我们会发现，这种模式下他虽然比阻塞IO和非阻塞IO好，但是依然有些麻烦的事情， 比如说频繁的传递fd集合，频繁的去遍历FD等问题

![1653900022580][]

select模式存在的问题：

*  需要将整个`fd_set`从用户空间拷贝到内核空间，select结束还要再次拷贝回用户空间
 *  select无法得知具体是哪个fd就绪，需要遍历整个`fd_set`
 *  `fd_set`监听的fd数量不能超过1024

#### 4.2 IO多路复用模型-poll模式 ####

poll模式对select模式做了简单改进，但性能提升不明显，部分关键代码如下：

IO流程：

*  创建pollfd数组，向其中添加关注的fd信息，数组大小自定义
 *  调用poll函数，将pollfd数组拷贝到内核空间，转链表存储，无上限
 *  内核遍历fd，判断是否就绪
 *  数据就绪或超时后，拷贝pollfd数组到用户空间，返回就绪fd数量n
 *  用户进程判断n是否大于0,大于0则遍历pollfd数组，找到就绪的fd

**与select对比：**

*  select模式中的fd\_set大小固定为1024，而pollfd在内核中采用链表，理论上无上限
 *  监听FD越多，每次遍历消耗时间也越久，性能反而会下降

![1653900721427][]

#### 4.3 IO多路复用模型-epoll函数 ####

![image-20230505202543937][]

epoll模式是对select和poll的改进，它提供了三个函数：

![image-20230505202223299][]

第一个是：eventpoll的函数，他内部包含两个东西

一个是红黑树-> 记录的事要监听的FD  
一个是链表->一个链表，记录的是就绪的FD

紧接着调用epoll\_ctl操作，将要监听的数据添加到红黑树上去，并且给每个fd设置一个监听函数，这个函数会在fd数据就绪时触发，就是准备好了，现在就把fd把数据添加到list\_head中去

![image-20230505202305596][]

3、调用epoll\_wait函数

就去等待，在用户态创建一个空的events数组，当就绪之后，我们的回调函数会把数据添加到list\_head中去，当调用这个函数的时候，会去检查list\_head，当然这个过程需要参考配置的等待时间，可以等一定时间，也可以一直等， 如果在此过程中，检查到了list\_head中有数据会将数据添加到链表中，此时将数据放入到events数组中，并且返回对应的操作的数量，用户态的此时收到响应后，从events中拿到对应准备好的数据的节点，再去调用方法去拿数据。

![image-20230505202330223][]

**小总结：**

select模式存在的三个问题：

*  能监听的FD最大不超过1024
 *  每次select都需要把所有要监听的FD都拷贝到内核空间
 *  每次都要遍历所有FD来判断就绪状态

poll模式的问题：

*  poll利用链表解决了select中监听FD上限的问题，但依然要遍历所有FD，如果监听较多，性能会下降

epoll模式中如何解决这些问题的？

*  基于epoll实例中的红黑树保存要监听的FD，理论上无上限，而且增删改查效率都非常高
 *  每个FD只需要执行一次epoll\_ctl添加到红黑树，以后每次epol\_wait无需传递任何参数，无需重复拷贝FD到内核空间
 *  利用ep\_poll\_callback机制来监听FD状态，无需遍历所有FD，因此性能不会随监听的FD数量增多而下降

#### 4.4 epoll中的事件通知机制——ET和LT ####

当FD有数据可读时，我们调用epoll\_wait（或者select、poll）可以得到通知。但是事件通知的模式有两种：

*  LevelTriggered：简称LT，也叫做水平触发。只要某个FD中有数据可读，每次调用`epoll_wait`都会得到通知。
 *  EdgeTriggered：简称ET，也叫做边沿触发。只有在某个FD有状态变化时，调用`epoll_wait`才会被通知。

举个栗子：

1.  假设一个客户端socket对应的FD已经注册到了epoll实例中
2.  客户端socket发送了2kb的数据
3.  服务端调用`epoll_wait`，得到通知说FD就绪
4.  服务端从FD读取了1kb数据
5.  回到步骤3（再次调用`epoll_wait`，形成循环）

结论

如果我们采用LT模式，因为FD中仍有1kb数据，则第⑤步依然会返回结果，并且得到通知  
如果我们采用ET模式，因为第③步已经消费了FD可读事件，第⑤步FD状态没有变化，因此epoll\_wait不会返回，数据无法读取，客户端响应超时。

#### 4.5 基于epoll的服务器端流程 ####

我们来梳理一下这张图

![1653902845082][]

服务器启动以后，服务端会去调用epoll\_create，创建一个epoll实例，epoll实例中包含两个数据

1、红黑树（为空）：`rb_root` 用来去记录需要被监听的FD

2、链表（为空）：`list_head`，用来存放已经就绪的FD

创建好了之后，会去调用`epoll_ctl`函数，此函数会会将需要监听的数据添加到`rb_root`中去，并且对当前这些存在于红黑树的节点设置回调函数，当这些被监听的数据一旦准备完成，就会被调用，而调用的结果就是将红黑树的就绪的fd添加到`list_head`中去(但是此时并没有完成)

3、当第二步完成后，就会调用`epoll_wait`函数，这个函数会去校验是否有数据准备完毕（因为数据一旦准备就绪，就会被回调函数添加到`list_head`中），在等待了一段时间后(可以进行配置)，如果等够了超时时间，则返回没有数据，如果有，则进一步判断当前是什么事件，如果是建立连接时间，则调用accept() 接受客户端socket，拿到建立连接的socket，然后建立起来连接，如果是其他事件，则把数据进行写出。

### 5 网络模型-信号驱动 ###

信号驱动IO是与内核建立SIGIO的信号关联并设置回调，当内核有FD就绪时，会发出SIGIO信号通知用户，期间用户应用可以执行其它业务，无需阻塞等待。

![1653911776583][]

阶段一：

*  用户进程调用sigaction，注册信号处理函数
 *  内核返回成功，开始监听FD
 *  用户进程不阻塞等待，可以执行其它业务
 *  当内核数据就绪后，回调用户进程的SIGIO处理函数

阶段二：

*  收到SIGIO回调信号
 *  调用recvfrom，读取
 *  内核将数据拷贝到用户空间
 *  用户进程处理数据

当有大量IO操作时，信号较多，SIGIO处理函数不能及时处理可能导致信号队列溢出，而且内核空间与用户空间的频繁信号交互性能也较低。

### 6 异步IO ###

这种方式，不仅仅是用户态在试图读取数据后，不阻塞，而且当内核的数据准备完成后，也不会阻塞

![1653911877542][]

他会由内核将所有数据处理完成后，由内核将数据写入到用户态中，然后才算完成，所以性能极高，不会有任何阻塞，全部都由内核完成，可以看到，异步IO模型中，用户进程在两个阶段都是非阻塞状态。

需要控制并发程度, 高并发情况下会导致系统内存占用过多崩溃

### 5&6 对比 ###

最后用一幅图，来说明他们之间的区别

![1653912219712][]

IO操作是同步还是异步，关键看数据在内核空间与用户空间的拷贝过程（数据读写的IO操作），也就是阶段二是同步还是异步

### Redis是单线程的吗？为什么使用单线程? ###

**Redis到底是单线程还是多线程？**

*  如果仅仅聊Redis的核心业务部分（命令处理），答案是单线程
 *  如果是聊整个Redis，那么答案就是多线程

在Redis版本迭代过程中，在两个重要的时间节点上引入了多线程的支持：

*  Redis v4.0：引入多线程异步处理一些耗时较旧的任务，例如异步删除命令unlink
 *  Redis v6.0：在核心网络模型中引入 多线程，进一步提高对于多核CPU的利用率

因此，对于Redis的核心网络模型，在Redis 6.0之前确实都是单线程。是利用epoll（Linux系统）这样的IO多路复用技术在事件循环中不断处理客户端情况。

**为什么Redis要选择单线程？**

*  抛开持久化不谈，Redis是纯 内存操作，执行速度非常快，它的性能瓶颈是网络延迟而不是执行速度，因此多线程并不会带来巨大的性能提升。
 *  多线程会导致过多的上下文切换，带来不必要的开销
 *  引入多线程会面临线程安全问题，必然要引入线程锁这样的安全手段，实现复杂度增高，而且性能也会大打折扣

### Redis单线程和多线程网络模型变更 ###

Redis通过IO多路复用来提高网络性能，并且支持各种不同的多路复用实现，并且将这些实现进行封装， 提供了统一的高性能事件库API库 AE：

![image-20230505205325792][]

来看下Redis单线程网络模型的整个流程：

![image-20230505210351406][]

![a7132c390fbc47b99b30bae5cf7411d1.png][]  
Redis 6.0版本中引入了多线程，目的是为了提高IO读写效率。因此在**解析客户端命令、写响应结果**时采用了多线程。核心的命令执行、IO多路复用模块依然是由主线程执行。

![97768e3689b24b2a9eba7600035a923e.png][]

当我们的客户端想要去连接我们服务器，会去先到IO多路复用模型去进行排队，会有一个连接应答处理器，他会去接受读请求，然后又把读请求注册到具体模型中去，此时这些建立起来的连接，如果是客户端请求处理器去进行执行命令时，他会去把数据读取出来，然后把数据放入到client中， client去解析当前的命令转化为redis认识的命令，接下来就开始处理这些命令，从redis中的command中找到这些命令，然后就真正的去操作对应的数据了，当数据操作完成后，会去找到命令回复处理器，再由他将数据写出。

[1653844970346]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/4e279d598b8f426c971dde3af56d1727.png
[1653845147190]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/6b921519064e4c66ab9225f8014a4753.png
[1653896065386]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/743f065f87eb4c31b525f84d52d5f07e.png
[1653896377259]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/808eeafe3e984b46a460764dc9d8d942.png
[1653896687354]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/e46b2e9875d043e683837c2e56a0b775.png
[1653897115346]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/068fa63bfeed41e28c00f511b4fff8f9.png
[1653897270074]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/5d0c7d0b30584f64ad0218744d31c5c6.png
[6105bdd2b71d4b20a831f1225a325490.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/83ad2b97f02d4c2183fdaf5ce3a92597.png
[1653898691736]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/6cada4d28cba4f538e21545a2f5b3b69.png
[1653900022580]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/6b398adeaf0d4c4b8cd1f12ffed8773b.png
[1653900721427]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/a1b917e5000148e4ada79e82d70dd808.png
[image-20230505202543937]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/1cce0707f3664ca491d091d83b74af5a.png
[image-20230505202223299]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/ec90a2f199804112af6ab70a3c73e02d.png
[image-20230505202305596]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/c1ab6c21895d42758bc0f30f747f438d.png
[image-20230505202330223]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/054643b7aa5946ff817e55af8a969fe9.png
[1653902845082]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/471066f6a1af4fd19bbd99c909f998ae.png
[1653911776583]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/b82baa757c1f491ba8cdd95823b2ec6e.png
[1653911877542]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/af35f3e4115e411789636c8ad74b0b19.png
[1653912219712]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/4c0dfaaf77c84ec689c733e3c5885975.png
[image-20230505205325792]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/6c7f2d1ed264449faa54ac95cf0baee5.png
[image-20230505210351406]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/0e9edc761b4a43c6b2a10f7c35c0a197.png
[a7132c390fbc47b99b30bae5cf7411d1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/a007e7adbd374d54b60ee686f64ba512.png
[97768e3689b24b2a9eba7600035a923e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/847d4df2b37343ee8fed34b83e16cfcf.png