java BIO NIO AIO的理论

﹏ヽ暗。殇╰゛Y 2022-08-20 02:30 127阅读 0赞

按照《Unix网络编程》的划分，IO模型可以分为：阻塞IO、非阻塞IO、IO复用、信号驱动IO和异步IO，按照POSIX标准来划分只分为两类：同步IO和异步IO。NIO是java1.4新引入的Java I/O类库，其目的在与提高速度，尤其是在文件IO与网络IO当中。NIO与IO的不同之处就在于NIO是面向缓冲区的，IO是面向流的。

### 同步& 异步 & 阻塞 & 非阻塞 ###

其实下图中已经有结论，首先一个IO操作其实分成了两个步骤：发起IO请求和实际的IO操作。

**阻塞IO和非阻塞IO**

它们区别在于第一步是否会被阻塞，如果阻塞直到完成那么就是传统的阻塞IO，如果不阻塞，那么就是非阻塞IO。

**同步IO和异步IO**

它们的区别就在于第二个步骤是否阻塞。

*  如果实际的IO读写阻塞请求进程，那么就是同步IO，因此阻塞IO、非阻塞IO、IO复用、信号驱动IO都是同步IO
 *  如果不阻塞，而是操作系统帮你做完IO操作再将结果返回给你，那么就是异步IO。

而实际的IO就是操作系统的IO模型，又有select/poll/epoll/iocp，在Linux 2.6以后，java NIO的实现，是通过epoll来实现的，这点可以通过jdk的源代码发现。而AIO，在windows上是通过IOCP实现的，在linux上还是通过epoll来实现的。可以[参阅我的另一篇][Link 1]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0c29mdGNoZW5mZWk_size_16_color_FFFFFF_t_70][]

### 阻塞 IO模型 ###

最传统的一种IO模型，即在读写数据过程中会发生阻塞现象。当用户线程发出 IO 请求之后，**内核会去查看数据是否就绪**，如果没有就绪就会等待数据就绪，而用户线程就会处于阻塞状态，用户线程交出CPU。当数据就绪之后，**内核会将数据拷贝到用户线程**，并返回结果给用户线程，用户线程才解除block 状态。典型的阻塞 IO模型的例子为：data = socket.read();如果数据没有就  
绪，就会一直阻塞在read方法。

### 非阻塞 IO模型 ###

当用户线程发起一个read操作后，并不需要等待，而是马上就得到了一个结果。如果结果是一个error 时，它就知道数据还没有准备好，于是它可以再次发送read操作。一旦内核中的数据准备好了，并且又再次收到了用户线程的请求，那么它马上就将数据拷贝到了用户线程，然后返回。所以事实上，在非阻塞IO模型中，用户线程需要不断地询问内核数据是否就绪，也就说非阻塞 IO  
不会交出CPU，而会一直占用CPU。

> 但是对于非阻塞IO 就有一个非常严重的问题，在 while 循环中需要不断地去询问内核数据是否就绪，这样会导致CPU占用率非常高，因此一般情况下很少使用while 循环这种方式来读取数据。

### 多路复用 IO模型 ###

多路复用IO模型是目前使用得比较多的模型。Java NIO 实际上就是多路复用IO。在多路复用 IO模型中，**会有一个线程不断去轮询多个socket的状态，只有当 socket 真正有读写事件时，才真正调用实际的IO读写操作**。因为在多路复用 IO模型中，只需要使用一个线程就可以管理多个socket，系统不需要建立新的进程或者线程，也不必维护这些线程和进程，并且只有在真正有socket读写事件进行时，才会使用 IO资源，所以它大大减少了资源占用。在Java NIO中，是通过selector.select()去查询每个通道是否有到达事件，如果没有事件，则一直阻塞在那里，因此这种方式会导致用户线程的阻塞。多路复用IO 模式，通过一个线程就可以管理多个socket，只有当socket真正有读写事件发生才会占用资源来进行实际的读写操作。因此，多路复用IO 比较适合连接数比较多的情况。

> 另外多路复用IO为何比非阻塞 IO模型的效率高是因为在非阻塞IO 中，不断地询问socket状态时通过用户线程去进行的，而在多路复用IO 中，**轮询每个 socket 状态是内核在进行的**，这个效率要比用户线程要高的多。 
> 
> NIO本身是基于事件驱动思想来完成的，其主要想解决的是BIO的大并发问题： 在使用同步I/O的网络应用中，如果要同时处理多个客户端请求，或是在客户端要同时和多个服务器进行通讯，就必须使用多线程来处理。由于每创建一个线程，就要为这个线程分配一定的内存空间（也叫工作存储器），而且操作系统本身也对线程的总数有一定的限制。如果客户端的请求过多，服务端程序可能会因为不堪重负而拒绝客户端的请求，甚至服务器可能会因此而瘫痪。

NIO基于Reactor，当socket有流可读或可写入socket时，操作系统会相应的通知引用程序进行处理，应用再将流读取到缓冲区或写入操作系统。

![Center][]

注意：多路复用 IO 模型是通过轮询的方式来检测是否有事件到达，并且对到达的事件逐一进行响应。因此对于多路复用 IO模型来说，一旦事件响应体很大，那么就会导致后续的事件迟迟得不到处理，并且会影响新的事件轮询。

NIO 主要有三大核心部分：Channel(通道)，Buffer(缓冲区), Selector。传统IO 基于字节流和字符流进行操作，而NIO基于Channel和 Buffer(缓冲区)进行操作，数据总是从通道读取到缓冲区中，或者从缓冲区写入到通道中。Selector(选择区)用于监听多个通道的事件（比如：连接打开，数据到达）。因此，单个线程可以监听多个数据通道。

**NIO 的缓冲区**

Java IO 面向流意味着每次从流中读一个或多个字节，直至读取所有字节，它们没有被缓存在任何地方。此外，它不能前后移动流中的数据。如果需要前后移动从流中读取的数据，需要先将它缓存到一个缓冲区。NIO 的缓冲导向方法不同。数据读取到一个它稍后处理的缓冲区，需要时可在缓冲区中前后移动。这就增加了处理过程中的灵活性。但是，还需要检查是否该缓冲区中包含所有您需要处理的数据。而且，需确保当更多的数据读入缓冲区时，不要覆盖缓冲区里尚未处理的数据。

**NIO 的非阻塞**

IO的各种流是阻塞的。这意味着，当一个线程调用read() 或 write()时，该线程被阻塞，直到有一些数据被读取，或数据完全写入。该线程在此期间不能再干任何事情了。 NIO 的非阻塞模式，使一个线程从某通道发送请求读取数据，但是它仅能得到目前可用的数据，如果目前没有数据可用时，就什么都不会获取。而不是保持线程阻塞，所以直至数据变的可以读取之前，该线程可以  
继续做其他的事情。 非阻塞写也是如此。一个线程请求写入一些数据到某通道，但不需要等待它完全写入，这个线程同时可以去做别的事情。 线程通常将非阻塞 IO的空闲时间用于在其它通道上执行IO操作，所以一个单独的线程现在可以管理多个输入和输出通道（channel）。

### Channel ###

Channel和IO中的Stream(流)是差不多一个等级的。NIO中的Channel的主要实现有：分别可以对应文件IO、UDP和TCP（Server和Client）

*  FileChannel
 *  DatagramChannel
 *  SocketChannel 
 *  ServerSocketChannel

> 只不过Stream是单向的，如：InputStream,OutputStream，而Channel是双向的，既可以用来进行读操作，又可以用来进行写操作。

### Buffer ###

Buffer实际上是一个容器，是一个连续数组。Channel提供从文件、网络读取数据的渠道，但是读取或写入的数据都必须经由Buffer。在NIO中，Buffer是一个顶层父类，它是一个抽象类，常用的Buffer的子类有：ByteBuffer、IntBuffer、 CharBuffer、LongBuffer、 DoubleBuffer、FloatBuffer、ShortBuffer

客户端发送数据时，必须先将数据存入Buffer中，然后将Buffer中的内容写入通道。服务端这边接收数据必须通过Channel将数据读入到Buffer中，然后再从Buffer中取出数据来处理。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0c29mdGNoZW5mZWk_size_16_color_FFFFFF_t_70 1][]

### Selector ###

Selector类是NIO的核心类，Selector能够检测多个注册的通道上是否有事件发生，如果有事件发生，便获取事件然后针对每个事件进行相应的响应处理。

> 这样一来，只是用一个单线程就可以管理多个通道，也就是管理多个连接。这样使得只有在连接真正有读写事件发生时，才会调用函数来进行读写，就大大地减少了系统开销，并且不必为每个连接都创建一个线程，不用去维护多个线程，并且避免了多线程之间的上下文切换导致的开销。

### 信号驱动 IO模型  ###

在信号驱动IO 模型中，当用户线程发起一个 IO请求操作，会给对应的socket注册一个信号函数，然后用户线程会继续执行，当内核数据就绪时会发送一个信号给用户线程，用户线程接收到信号之后，便在信号函数中调用 IO 读写操作来进行实际的 IO 请求操作。

### AIO ###

异步IO模型才是最理想的 IO 模型，在异步IO 模型中，当用户线程发起read操作之后，立刻就可以开始去做其它的事。而另一方面，从内核的角度，当它受到一个asynchronous read 之后，它会立刻返回，说明read请求已经成功发起了，因此不会对用户线程产生任何 block。然后，内核会等待数据准备完成，然后将数据拷贝到用户线程，当这一切都完成之后，内核会给用户线程  
发送一个信号，告诉它read 操作完成了。也就说用户线程完全不需要实际的整个IO操作是如何进行的，只需要先发起一个请求，当接收内核返回的成功信号时表示 IO操作已经完成，可以直接去使用数据了。

也就说在异步IO模型中，IO操作的两个阶段都不会阻塞用户线程，这两个阶段都是由内核自动完成，然后发送一个信号告知用户线程操作已完成。用户线程中不需要再次调用IO 函数进行具体的读写。这点是和信号驱动模型有所不同的，在信号驱动模型中，当用户线程接收到信号表示数据已经就绪，然后需要用户线程调用 IO函数进行实际的读写操作；而在异步IO模型中，收到信号  
表示IO操作已经完成，不需要再在用户线程中调用IO 函数进行实际的读写操作。

注意：异步IO 是需要操作系统的底层支持，在 Java 7 中，提供了Asynchronous IO。

只须直接调用API的read或write方法即可。这两种方法均为异步的，对于读操作而言，当有流可读取时，操作系统会将可读的流传入read方法的缓冲区，并通知应用程序；对于写操作而言，当操作系统将write方法传递的流写入完毕时，操作系统主动通知应用程序。   
即可以理解为，read/write方法都是异步的，完成后会主动调用回调函数。   
在JDK1.7中，这部分内容被称作NIO.2，主要在java.nio.channels包下增加了下面四个异步通道：

*  AsynchronousSocketChannel
 *  AsynchronousServerSocketChannel
 *  AsynchronousFileChannel
 *  AsynchronousDatagramChannel

其中的read/write方法，会返回一个带回调函数的对象，当执行完读取/写入操作后，直接调用回调函数。

AIO是一种接口标准，各家操作系统可以实现也可以不实现。在不同操作系统上在高并发情况下最好都采用操作系统推荐的方式。Linux上还没有真正实现网络方式的AIO。![Link 1][]

[Link 1]: /images/20220731/4e96cd6ef2144a62a4cfacfab3decaea.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0c29mdGNoZW5mZWk_size_16_color_FFFFFF_t_70]: /images/20220731/94ba63f58df9425db533c38da51f7ba9.png
[Center]: /images/20220731/364894cde94e40788f87dc6b897f0d52.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2l0c29mdGNoZW5mZWk_size_16_color_FFFFFF_t_70 1]: /images/20220731/b647a0b34d764fc085f0f8f12ab9fd31.png