Netty源码分析-Java NIO和网络通信Channel

分手后的思念是犯贱 2022-04-03 07:26 261阅读 0赞

### Java socket之BIO和NIO ###

在网络编程当中，在应用层主要通过Socket Api来完成客户端和服务端之间的网络通信。

*  BIO: 在Java中，服务端使用ServerSocket监听客户端连接请求，客户端使用Socket连接服务端，ServerSocket和Socket都是BIO，即阻塞IO。阻塞IO存在的问题是任何时候，在一个线程当中只能存在一个socket进行连接，不能多个socket进行并行连接，如果需要支持多个socket并行连接，则每个socket需要在一个独立的线程中，通常会使用一个线程池来实现。这种方式在高并发下，对系统资源开销很大，不能适合高并发访问。
 *  NIO: 为了解决BIO存在的问题，即在一个线程当中能够支持多个socket的连接，在Java NIO包中，定义了SocketChannel和Selector，用于实现NIO，即非阻塞IO。

1.  Selector管理多个SocketChannel，监听这些SocketChannel的IO事件，然后分发给对应的SocketChannel进行处理，其底层主要依赖于操作系统提供的IO多路复用技术，如Linux的select，poll，epoll系统调用，Windows的kqueue，实现在一个线程里面处理多个socket的连接。
2.  在数据传输方面，SocketChannel中封装了socket，在读取数据时，将channel中的数据读取到ByteBufer缓冲区，在写数据时，将数据写到ByteBuffer缓冲区，然后通过channel发送出去，可以通过方法configureBlocking，设置是否启用非阻塞模式，如果设置了，则SocketChannel可以直接返回，而不需要阻塞，通常SocketChannel设置为非阻塞模式，而ServerSocketChannel为服务端监听客户端连接请求，可以设置为阻塞模式，即在accept中阻塞等待客户端的连接请求。

### Netty体系结构 ###

如果使用Java NIO原生Api进行网络编程，则需要考虑如线程安全，网络异常处理等各种问题，对于编写企业级、高稳定性网络应用难度较高。所以Netty对Java NIO的SocketChannel进行了封装和优化。

*  通过EventLoop事件循环机制保证SocketChannel在多线程环境的线程安全。
 *  通过ChannelPipeline事件处理器管道，ChannelHandler事件处理器的设计，简化了网络应用的开发，开发者可以只需要使用ChannelHandler定义业务逻辑的实现，同时指定各个ChannelHandler在ChannelPipeline中处理顺序即可，不需要考虑底层网络通信以及线程安全方面的问题。
 *  同时也对Java NIO的Api进行了优化，如ByteBuffer缓冲区的优化，这个在之后的文章继续分享。
 *  Netty Channel接口则将这些设计融合起来，也作为整个设计对外的一个入口。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMTM1NzM_size_16_color_FFFFFF_t_70]

### Netty Channel的核心设计 ###

#### Channel接口核心属性和方法 ####

*  EventLoop：channel所绑定的用于处理channel IO操作的线程  
    ![在这里插入图片描述][20181220235201837.png]
 *  ChannelPipeline：channel读取或写出的message，需要流经的处理管道或者处理链，里面包括多个ChannelHandler，分别对message进行处理。  
    ![在这里插入图片描述][2018122023553573.png]
 *  缓冲区生成器ByteBufAllocator：用于生成进行数据缓存的ByteBuf，可以生成堆内或堆外内存，以及是否池化pooled。  
    ![在这里插入图片描述][2018122023563639.png]
 *  socket套接字地址对：本地地址和远程地址  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMTM1NzM_size_16_color_FFFFFF_t_70 1]

#### 类继承体系设计 ####

*  Channel设计：与ChannelHandler，ChannelHandlerContext，ChannelPipeline为一个体系结构，负责数据流的处理  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMTM1NzM_size_16_color_FFFFFF_t_70 2]
 *  Unsafe设计：为Channel完成与底层socket进行数据读取和写出，即读取则从底层socket获取数据，然后传给与Channel绑定的ChannelPipeline；写出则Channel从ChannelPipeline中获取数据，然后交给Unsafe写出，具体为通过ChannelPipeline的头结点handlerContext，即HeadContext来交给Unsafe。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMTM1NzM_size_16_color_FFFFFF_t_70 3]

#### 异步IO机制 ####

在Channel中所有的IO操作，包括read, write, bind, connect，都是异步操作，即各种IO操作执行完之后都是直接返回，然后通过ChannelFuture或ChannelPromise异步获取IO操作的执行结果。一般通过addListener方法添加ChannelFutureListener监听器接口的实现类来处理IO操作的结果。

*  实现ChannelFutureListener的operationComplete方法来处理操作结果。如图：  
    ![在这里插入图片描述][20181221000139950.png]
 *  ChannelFutureListener接口自身提供的处理器，以常量形式提供，如下：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMTM1NzM_size_16_color_FFFFFF_t_70 4]  
    关闭Channel添加Listener：ChannelFutureListener.CLOSE  
    ![在这里插入图片描述][20181221105932707.png]

#### NioSocketChannel的数据读写，方法调用从顶层到底层分析： ####

1.  IO操作，包括read, write，bind, connect，channel将message交给pipeline，在顶层基类AbstractChannel类实现：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMTM1NzM_size_16_color_FFFFFF_t_70 5]  
    Channel接口包含一个ChannelPipeline类型的pipeline属性，流经channel的所有数据都是需要在pipeline中进行传输的。
2.  ChannelPipeline维护了ChannelHandler处理链，包括head和tail ChannelHandler，如图：  
    ![在这里插入图片描述][20181221003051484.png]  
    其中head和tail都是ChannelHandlerContext，head和tail是Netty只身提供的处理链的头部和尾部，这两个是固定的，中间为用户定义和添加的一个或多个ChannelHandler。ChannelHandlerContext是封装了ChannelHandler实例的，如图：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMTM1NzM_size_16_color_FFFFFF_t_70 6]  
    ChannelHandlerContext主要用于ChannelHandler和ChannelPipeline的交互，以及建立ChannelPipeline中多个ChannelHandler之间的关联，如图接口源码注释：  
    ![在这里插入图片描述][20181221103907313.png]  
    通过prev，next方法可以获取到ChannelPipeline中前一个或下一个ChannelHandler。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMTM1NzM_size_16_color_FFFFFF_t_70 7]
3.  ChannelPipeline中的read, write, bind, connect，均交给ChannelHandleContext执行，关于ChannelPipeline的源码具体分析，在之后再分享。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMTM1NzM_size_16_color_FFFFFF_t_70 8]
4.  ChannelHandlerContext的read操作：执行数据读取，即在channel所在的eventLoop中对应的线程EventExecutor中执行invokeRead()  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMTM1NzM_size_16_color_FFFFFF_t_70 9]  
    invokeRead操作：通过invokeHandler方法，判断当前ChannelHandlerContext是否已经添加过了ChannelHandler，如果有则调用真正的ChannelHandler执行read操作；没有则调用ChannelHandlerContext自身的read方法，继续交给next的ChannelHandlerContext。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMTM1NzM_size_16_color_FFFFFF_t_70 10]
5.  ChannelHandler的read操作：以ChannelHandlerContext作为参数，在read方面里面可以自定义处理逻辑，然后再调用ChannelHandlerContext的read等传给ChannelPipeline中的下一个ChannelHandler继续处理，直到最后一个ChannelHandler，即上面介绍的head或tail。或者不调用ctx.read了，不再传给下一个channelHandler，如果是write，也可以直接调用Channel的write或writeAndFlush直接写到socket中，不再传给下个ChannelHandler。
6.  最后通过具体的Channel实现类，如NioSocketChannel，在相应的doConnect，doBind等方法中，调用Java的SocketChannel完成最后实际数据的read，write，bind, connect等，如图NioSocketChannel的doWrite：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMTM1NzM_size_16_color_FFFFFF_t_70 11]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMTM1NzM_size_16_color_FFFFFF_t_70]: /images/20220403/57c2d6d87ae84904b60f651f0e9d479d.png
[20181220235201837.png]: /images/20220403/62521599c33249e6a0cf3e7cdded4958.png
[2018122023553573.png]: /images/20220403/5ec6687a80fb4f06886a68ae9c1044db.png
[2018122023563639.png]: /images/20220403/cffea08c25eb45ff87b96b284400f62c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMTM1NzM_size_16_color_FFFFFF_t_70 1]: /images/20220403/971a4c790cdf45d8bdd95da38a7a8aee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMTM1NzM_size_16_color_FFFFFF_t_70 2]: /images/20220403/f9fba36f0b354f90a37e6ab971fd4b3e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMTM1NzM_size_16_color_FFFFFF_t_70 3]: /images/20220403/afa78d6689644742bcab81d92e2a46ff.png
[20181221000139950.png]: /images/20220403/9a933ff5fecc46399daec6182db2fae0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMTM1NzM_size_16_color_FFFFFF_t_70 4]: /images/20220403/378f155dbda24ecda32a8808b512d694.png
[20181221105932707.png]: /images/20220403/cade95ee049b490eb5aa846c3e3fdbdd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMTM1NzM_size_16_color_FFFFFF_t_70 5]: /images/20220403/5f632eddac1a44b3afa21bd158915d67.png
[20181221003051484.png]: /images/20220403/bf4baaa23dcd4389b4d695d4d459d351.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMTM1NzM_size_16_color_FFFFFF_t_70 6]: /images/20220403/4d0f70a96e1d435daaa790dca4e1bec4.png
[20181221103907313.png]: /images/20220403/39b2e4b691d14f93a66e2c6ec46de340.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMTM1NzM_size_16_color_FFFFFF_t_70 7]: /images/20220403/b0d1329562674315881fab6449837242.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMTM1NzM_size_16_color_FFFFFF_t_70 8]: /images/20220403/1f957a6d0db24cc49d0ce9e4b9906b49.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMTM1NzM_size_16_color_FFFFFF_t_70 9]: /images/20220403/c0db7fc4a9de4671ac0730cbafd3cc93.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMTM1NzM_size_16_color_FFFFFF_t_70 10]: /images/20220403/ae690741a47140e4b3b85a4944466be1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMTM1NzM_size_16_color_FFFFFF_t_70 11]: /images/20220403/88e041f0eac04f619fea0aa039a433b9.png