分布式之Netty介绍与实战(二)--Netty编程实践

àì夳堔傛蜴生んèń 2022-04-22 03:56 330阅读 0赞

[分布式之Netty介绍与实战(一)--Java IO与NIO][Netty_--Java IO_NIO]

[分布式之Netty介绍与实战(二)--Netty编程实践][Netty_--Netty]

[分布式之Netty介绍与实战(三)--Netty线程模型解析][Netty_--Netty 1]

[分布式之Netty介绍与实战(四)--Netty编解码编程实战][Netty_--Netty 2]

--------------------

# Netty是什么 #

**Netty 提供异步的、事件驱动的网络应用程序框架和工具,用以快速开发高性能、高可靠性的网络服务器和客户端程序**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3ODU0OTUyOTU_size_16_color_FFFFFF_t_70][]

# Netty 特性 #

*  •设计
    
     *  统一的API,适用于不同的协议(阻塞和非阻塞)
     *  基于灵活、可扩展的事件驱动模型（SEDA）
     *  高度可定制的线程模型
     *  可靠的无连接数据Socket支持(UDP)
 *  •性能
    
     *  更好的吞吐量,低延迟
     *  更省资源
     *  尽量减少不必要的内存拷贝
 *  •安全
    
     *  完整的SSL/ TLS和STARTTLS的支持
 *  •易用
    
     *  完善的Java doc,用户指南和样例
     *  仅依赖于JDK1.6（netty 4.x)

# Netty 主要组件 #

*  •Netty 主要组件：
    
     *  Transport Channel  ---- **对应NIO中的channel**
     *  EventLoop ---- **对应于NIO中的while循环**
     *  EventLoopGroup: 多个EventLoop
     *  ChannelHandler和ChannelPipeline \--- **对应于NIO中的客户逻辑实现handleRead/handleWrite** **(interceptor pattern****）**
     *  ByteBuf ---- **对应于NIO 中的ByteBuffer**
     *  Bootstrap 和 ServerBootstrap \--- **对应NIO中的Selector、ServerSocketChannel等的创建、配置、启动等**
 *  •Netty Server启动主要流程：
    
     *  设置服务端ServerBootStrap启动参数
     *  group(parentGroup, childGroup):
     *  channel(NioServerSocketChannel): 设置通道类型
     *  handler()：设置NioServerSocketChannel的ChannelHandlerPipeline
     *  childHandler(): 设置NioSocketChannel的ChannelHandlerPipeline
     *  通过ServerBootStrap的bind方法启动服务端，bind方法会在parentGroup中注册NioServerScoketChannel，监听客户端的连接请求
     *  会创建一个NioServerSocketChannel实例，并将其在parentGroup中进行注册
 *  Netty Server执行主要流程：
    
     *  ØClient发起连接CONNECT请求，parentGroup中的NioEventLoop不断轮循是否有新的客户端请求，如果有，ACCEPT事件触发
     *  ØACCEPT事件触发后，parentGroup中NioEventLoop会通过NioServerSocketChannel获取到对应的代表客户端的NioSocketChannel，并将其注册到childGroup中
     *  ØchildGroup中的NioEventLoop不断检测自己管理的NioSocketChannel是否有读写事件准备好，如果有的话，调用对应的ChannelHandler进行处理

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3ODU0OTUyOTU_size_16_color_FFFFFF_t_70 1][]

# Netty Transport - 传输层 #

*  •提供了统一的API，支持不同类型的传输层：
    
     *  OIO -阻塞IO
     *  NIO - Java NIO
     *   Epoll -  Linux Epoll(JNI)
     *   Local Transport - IntraVM调用
     *   Embedded Transport - 供测试使用的嵌入传输
     *  UDS -  Unix套接字的本地传输

![20181102090512964.png][]

# Netty EventLoop #

*  EventLoopGroup
    
     *  包括多个EventLoop
     *  多个EventLoop之间不交互
 *  •EventLoop：
    
     *  每个EventLoop对应一个线程
     *  所有连接(channel)都将注册到一个EventLoop，并且只注册到一个，整个生命周期中都不会变化
     *  每个EventLoop管理着多个连接(channel)
     *  EventLoop来处理连接(Channel)上的读写事件
 *  ServerBootstrap
    
     *  包括2个不同类型的EventLoopGroup:
        
         *  Parent EventLoop:负责处理Accept事件，接收请求
         *  Child EventLoop：负责处理读写事件

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3ODU0OTUyOTU_size_16_color_FFFFFF_t_70 2][]

# Netty Buffers \- ByteBuf #

*  相比JDK ByteBuffer， 更加易于使用：
    
     *  为读/写分别维护单独的指针，不需要通过flip()进行读/写模式切换
     *  容量自动伸缩（类似于 ArrayList，StringBuilder）
     *  Fluent API (链式调用）
 *  更好的性能：
    
     *  通过内置的CompositeBuffer来减少数据拷贝（Zero copy）
     *  支持内存池，减少GC压力

*  ByteBuf通过两个索引（reader index、writer index）划分为三个区域：
    
     *  reader index前面的数据是已经读过的数据，这些数据可以丢弃
     *  从reader index开始，到writer index之前的数据是可读数据
     *  从writer index开始，为可写区域

![2018110209322856.png][]

# Netty Buffers \- ByteBuf主要操作 #

顺序读/写：\- 改变reader/writer index

*  writeByte()
 *  writeLong()
 *  writeXXX() - 增加write index
 *  readByte()
 *  readLong()
 *  readXXX() - 增加read index

随机读/写： - 不改变read/write index

*  getXXX(index)
 *  setXXX(index, byte)

mark/reset：

*  markReaderIndex()
 *  markWriterIndex()
 *  resetReaderIndex()
 *  resetWriterIndex()
 *  writerIndex(index)
 *  readerIndex(index)

discardReadBytes方法 \- compact

clear方法

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3ODU0OTUyOTU_size_16_color_FFFFFF_t_70 3][]

查询方法：

*  indexOf
 *  bytesBefore
 *  forEachByte（ByteBufProcessor）

Derived Buffers(衍生缓冲区)：

üduplicate()

üslice()

üslice(start, stop)

üunmodifiableBuffer(...),

Derived Buffers(衍生缓冲区)

*  具有各自的index和mark
 *  返回的 ByteBuf 与原ByteBuf 共享底层存储

缓冲区拷贝

*  copy() 或 copy(int, int)
 *  返回的 ByteBuf 有数据的独立副本

# Netty Buffers \-  ByteBuf的类型 #

*  # 根据内存的位置 #
 *  HeapByteBuf 
    
     *  Ø基于数组\- 内部为一个字节数组 (byte array)
     *  ØhasArray()返回True
     *  Øarray()返回其内部的数组，可以对数组进行直接操作
 *  –DirectByteBuf 
    
     *  Ø堆外内存
     *  Ø具有更好的性能
     *  Ø创建和释放开销更大
 *  根据是否使用内存池
    
     *  –Pooled vs Unpooled
 *  根据是否使用Unsafe操作(Unsafe)
 *  –Safe vs Unsafe

# Netty Buffers -  CompositeByteBuf #

•复合缓冲区（CompositeByteBuf）

*  多个ByteBuf组合的**视图**
 *  一个ByteBuf列表，可动态的添加和删除其中的 ByteBuf
 *  可能既包含堆缓冲区，也包含直接缓冲区

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3ODU0OTUyOTU_size_16_color_FFFFFF_t_70 4][]

# Netty Buffers -  ByteBufHolder #

ByteBufHolder

*  除ByteBuf外，还另外存储除有效的实际数据各种属性值

![20181102094207174.png][]

# Netty Buffers -  ByteBuf分配 #

不直接通过new来创建，而是通过ByteBufAllocator来创建

*  UnpooledByteBufAllocator
 *  PooledByteBufAllocator

![2018110209425230.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3ODU0OTUyOTU_size_16_color_FFFFFF_t_70 5][]

# Netty Buffers -  Unpooled工具类 #

•Unpooled 的工具类，它提供了静态的辅助方法来创建未池化的ByteBuf实例

![20181102094342996.png][]

# Netty ChannelHandler #

ChannelHandler  - 业务处理核心逻辑，用户自定义

Netty 提供2个重要的 ChannelHandler 子接口：

*  ChannelInboundHandler - 处理进站数据和所有状态更改事件
 *  ChannelOutboundHandler - 处理出站数据，允许拦截各种操作

![20181102094443341.png][]

# Netty Channel状态及转换 #

Channel的状态及其转换如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3ODU0OTUyOTU_size_16_color_FFFFFF_t_70 6][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3ODU0OTUyOTU_size_16_color_FFFFFF_t_70 7][]

# Netty Channel状态及转换 #

•当 ChannelHandler 添加到 ChannelPipeline，或者从ChannelPipeline 移除后，对应的方法将会被调用

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3ODU0OTUyOTU_size_16_color_FFFFFF_t_70 8][]

# Netty ChannelInboundHandler #

•ChannelInboundHandler 回调方法在下表中：

*  当接收到数据或者与之关联的 Channel 状态改变时调用
 *  与 Channel 的生命周期接近

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3ODU0OTUyOTU_size_16_color_FFFFFF_t_70 9][]

# Netty ChannelOutboundHandler #

ChannelOutboundHandler回调方法在下表中：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3ODU0OTUyOTU_size_16_color_FFFFFF_t_70 10][]

# Netty ChannelPipeline #

•ChannelPipeline 是ChannelHandler容器

*  •包括一系列的ChannelHandler 实例,用于拦截流经一个 Channel 的入站和出站事件
 *  •每个Channel都有一个其ChannelPipeline
 *  •可以修改 ChannelPipeline 通过动态添加和删除 ChannelHandler
 *  •定义了丰富的API调用来回应入站和出站事件

![20181102094842567.png][]

# Netty ChannelHandlerContext #

•ChannelHandlerContext表示 ChannelHandler 和ChannelPipeline 之间的关联

*  在 ChannelHandler 添加到 ChannelPipeline 时创建

•ChannelHandlerContext表示 ChannelHandler 和ChannelPipeline 之间的关联

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3ODU0OTUyOTU_size_16_color_FFFFFF_t_70 11][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3ODU0OTUyOTU_size_16_color_FFFFFF_t_70 12][]

[Netty_--Java IO_NIO]: https://blog.csdn.net/z785495295/article/details/83477789
[Netty_--Netty]: https://blog.csdn.net/z785495295/article/details/83650052
[Netty_--Netty 1]: https://blog.csdn.net/z785495295/article/details/83660993
[Netty_--Netty 2]: https://blog.csdn.net/z785495295/article/details/83721048
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3ODU0OTUyOTU_size_16_color_FFFFFF_t_70]: /images/20220422/e5cbc09a26c646d0ae03417eefbdcfd0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3ODU0OTUyOTU_size_16_color_FFFFFF_t_70 1]: /images/20220422/d2496d68163d4b049629758116320416.png
[20181102090512964.png]: /images/20220422/2ae50575ebe4435bb540fe4efd8b92aa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3ODU0OTUyOTU_size_16_color_FFFFFF_t_70 2]: /images/20220422/5df3d3c9aaf0463f8c20104a092ffe63.png
[2018110209322856.png]: /images/20220422/1475d33a62cd4886a87889ff4f160bd3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3ODU0OTUyOTU_size_16_color_FFFFFF_t_70 3]: /images/20220422/09bd20e7114c4e94b7502c553951eaea.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3ODU0OTUyOTU_size_16_color_FFFFFF_t_70 4]: /images/20220422/277067e5ca7a41dea4e2147d9100e5a8.png
[20181102094207174.png]: /images/20220422/2923d0455af94618b04c4d7c6a35656c.png
[2018110209425230.png]: /images/20220422/9989657de2334065bf1019a16c609a7a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3ODU0OTUyOTU_size_16_color_FFFFFF_t_70 5]: /images/20220422/6b7f54094d4741419f5edc699607b17c.png
[20181102094342996.png]: /images/20220422/7aa7085a6b7a417d84aa407acaedfab0.png
[20181102094443341.png]: /images/20220422/05c098f9c86e4896ad244ef824e89f57.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3ODU0OTUyOTU_size_16_color_FFFFFF_t_70 6]: /images/20220422/3414e5a5a4d74cd98c418a18aa960245.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3ODU0OTUyOTU_size_16_color_FFFFFF_t_70 7]: /images/20220422/17d694b87d6e486baa44a30dddeb6749.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3ODU0OTUyOTU_size_16_color_FFFFFF_t_70 8]: /images/20220422/422718670c3f475289df7ae4f835cd6c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3ODU0OTUyOTU_size_16_color_FFFFFF_t_70 9]: /images/20220422/c1b38016b4214a799bca811b2070f510.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3ODU0OTUyOTU_size_16_color_FFFFFF_t_70 10]: /images/20220422/9d4d653566fe4140a7dab206c8103308.png
[20181102094842567.png]: /images/20220422/2c133d580ffa4c94a988bd2288944ae1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3ODU0OTUyOTU_size_16_color_FFFFFF_t_70 11]: /images/20220422/22ae7e22009243c48580507ab346d3bd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3o3ODU0OTUyOTU_size_16_color_FFFFFF_t_70 12]: /images/20220422/268000afc2cd4b03851b956acc69c47f.png