Netty--NIO

忘是亡心i 2021-08-26 19:51 389阅读 0赞

### NIO ###

*  Java NIO 全称 java non-blocking IO，是指 JDK 提供的新 API。从 JDK1.4 开始，Java 提供了一系列改进的  
    输入/输出的新特性，被统称为 NIO(即 New IO)，是同步非阻塞的
 *  NIO 相关类都被放在 java.nio 包及子包下，并且对原 java.io 包中的很多类进行改写。【基本案例】
 *  NIO 有三大核心部分:Channel(通道)，Buffer(缓冲区), Selector(选择器)
 *  NIO 是 面向缓冲区 ，或者面向 块 编程的。数据读取到一个它稍后处理的缓冲区，需要时可在缓冲区中前后 移动，这就增加了处理过程中的灵活性，使用它可以提供非阻塞式的高伸缩性网络
 *  Java NIO 的非阻塞模式，使一个线程从某通道发送请求或者读取数据，但是它仅能得到目前可用的数据，如果 目前没有数据可用时，就什么都不会获取，而不是保持线程阻塞，所以直至数据变的可以读取之前，该线程可 以继续做其他的事情。 非阻塞写也是如此，一个线程请求写入一些数据到某通道，但不需要等待它完全写入， 这个线程同时可以去做别的事情。【后面有案例说明】
 *  通俗理解:NIO是可以做到用一个线程来处理多个操作的。假设有10000个请求过来,根据实际情况，可以分配 50 或者 100 个线程来处理。不像之前的阻塞 IO 那样，非得分配 10000 个。
 *  HTTP2.0 使用了多路复用的技术，做到同一个连接并发处理多个请求，而且并发请求的数量比 HTTP1.1 大了好 几个数量级

### NIO 三大核心示意图 ###

Selector 、 Channel 和 Buffer 的关系图(简单版)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvbGRfX19wbGF5_size_16_color_FFFFFF_t_70]

*  每个channel都会对应一个Buffer
 *  Selector 对应一个线程， 一个线程对应多个 channel(连接)
 *  该图反应了有三个channel注册到该selector//程序
 *  程序切换到哪个channel是有事件决定的,Event就是一个重要的概念
 *  Selector 会根据不同的事件，在各个通道上切换
 *  Buffer 就是一个内存块 ， 底层是有一个数组
 *  数据的读取写入是通过Buffer,这个和BIO,BIO中要么是输入流，或者是输出流, 不能双向，但是 NIO 的 Buffer 是可以读也可以写, 需要 flip 方法切换 channel 是双向的, 可以返回底层操作系统的情况, 比如 Linux ， 底层的操作系统  
    通道就是双向的.

### Buffer ###

缓冲区(Buffer):缓冲区本质上是一个可以读写数据的内存块，可以理解成是一个容器对象(含数组)，该对象提供了一组方法，可以更轻松地使用内存块，，缓冲区对象内置了一些机制，能够跟踪和记录缓冲区的状态变化情况。  
Channel 提供从文件、网络读取数据的渠道，但是读取或写入的数据都必须经由 Buffer。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvbGRfX19wbGF5_size_16_color_FFFFFF_t_70 1]

Buffer类及其子类：

*  在 NIO 中，Buffer 是一个顶层父类，它是一个抽象类, 类的层级关系图
 *  Buffer类定义了所有的缓冲区都具有的四个属性来提供关于其所包含的数据元素的信息

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvbGRfX19wbGF5_size_16_color_FFFFFF_t_70 2]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvbGRfX19wbGF5_size_16_color_FFFFFF_t_70 3]

Buffer类相关方法：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvbGRfX19wbGF5_size_16_color_FFFFFF_t_70 4]

ByteBuffer：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvbGRfX19wbGF5_size_16_color_FFFFFF_t_70 5]

### 通道 ###

*  NIO 的通道类似于流，但有些区别如下:
    
     *  通道可以同时进行读写，而流只能读或者只能写
     *  通道可以实现异步读写数据
     *  通道可以从缓冲读数据，也可以写数据到缓冲:
 *  BIO 中的 stream 是单向的，例如 FileInputStream 对象只能进行读取数据的操作，而 NIO 中的通道(Channel) 是双向的，可以读操作，也可以写操作。
 *  Channel 在 NIO 中是一个接口  
    public interface Channel extends Closeable\{\}
 *  常 用 的 Channel 类 有 : FileChannel 、 DatagramChannel 、 ServerSocketChannel 和 SocketChannel 。 【ServerSocketChanne 类似 ServerSocket , SocketChannel 类似 Socket】
 *  FileChannel 用于文件的数据读写，DatagramChannel 用于 UDP 的数据读写，ServerSocketChannel 和  
    SocketChannel 用于 TCP 的数据读写。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvbGRfX19wbGF5_size_16_color_FFFFFF_t_70 6]

### 实例 ###

本地文件写数据：

public class NIOFileChannel01 { 
        public static void main(String[] args) throws Exception{ 
    
            String str = "hello,尚硅谷";
            //创建一个输出流->channel
            FileOutputStream fileOutputStream = new FileOutputStream("d:\\file01.txt");
    
            //通过 fileOutputStream 获取 对应的 FileChannel
            //这个 fileChannel 真实 类型是 FileChannelImpl
            FileChannel fileChannel = fileOutputStream.getChannel();
    
            //创建一个缓冲区 ByteBuffer
            ByteBuffer byteBuffer = ByteBuffer.allocate(1024);
    
            //将 str 放入 byteBuffer
            byteBuffer.put(str.getBytes());
    
    
            //对byteBuffer 进行flip
            byteBuffer.flip();
    
            //将byteBuffer 数据写入到 fileChannel
            fileChannel.write(byteBuffer);
            fileOutputStream.close();
    
        }
    }

本地文件读数据：

public class NIOFileChannel02 { 
        public static void main(String[] args) throws Exception { 
    
            //创建文件的输入流
            File file = new File("d:\\file01.txt");
            FileInputStream fileInputStream = new FileInputStream(file);
    
            //通过fileInputStream 获取对应的FileChannel -> 实际类型 FileChannelImpl
            FileChannel fileChannel = fileInputStream.getChannel();
    
            //创建缓冲区
            ByteBuffer byteBuffer = ByteBuffer.allocate((int) file.length());
    
            //将 通道的数据读入到Buffer
            fileChannel.read(byteBuffer);
    
            //将byteBuffer 的 字节数据 转成String
            System.out.println(new String(byteBuffer.array()));
            fileInputStream.close();
    
        }
    }

使用一个 Buffer 完成文件读取、写入:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvbGRfX19wbGF5_size_16_color_FFFFFF_t_70 7]

public class NIOFileChannel03 { 
        public static void main(String[] args) throws Exception { 
    
            FileInputStream fileInputStream = new FileInputStream("1.txt");
            FileChannel fileChannel01 = fileInputStream.getChannel();
    
            FileOutputStream fileOutputStream = new FileOutputStream("2.txt");
            FileChannel fileChannel02 = fileOutputStream.getChannel();
    
            ByteBuffer byteBuffer = ByteBuffer.allocate(512);
    
            while (true) {  //循环读取
    
                //这里有一个重要的操作，一定不要忘了
                /* public final Buffer clear() { position = 0; limit = capacity; mark = -1; return this; } */
                byteBuffer.clear(); //清空buffer
                int read = fileChannel01.read(byteBuffer);
                System.out.println("read =" + read);
                if(read == -1) {  //表示读完
                    break;
                }
                //将buffer 中的数据写入到 fileChannel02 -- 2.txt
                byteBuffer.flip();
                fileChannel02.write(byteBuffer);
            }
    
            //关闭相关的流
            fileInputStream.close();
            fileOutputStream.close();
        }
    }

拷贝文件 transferFrom 方法:

public class NIOFileChannel04 { 
        public static void main(String[] args)  throws Exception { 
    
            //创建相关流
            FileInputStream fileInputStream = new FileInputStream("d:\\a.jpg");
            FileOutputStream fileOutputStream = new FileOutputStream("d:\\a2.jpg");
    
            //获取各个流对应的filechannel
            FileChannel sourceCh = fileInputStream.getChannel();
            FileChannel destCh = fileOutputStream.getChannel();
    
            //使用transferForm完成拷贝
            destCh.transferFrom(sourceCh,0,sourceCh.size());
            //关闭相关通道和流
            sourceCh.close();
            destCh.close();
            fileInputStream.close();
            fileOutputStream.close();
        }
    }

文件直接在内存(堆外的内存)中进行修改:

public class MappedByteBufferTest { 
        public static void main(String[] args) throws Exception { 
    
            RandomAccessFile randomAccessFile = new RandomAccessFile("1.txt", "rw");
            //获取对应的通道
            FileChannel channel = randomAccessFile.getChannel();
    
            /** * 参数1: FileChannel.MapMode.READ_WRITE 使用的读写模式 * 参数2： 0 ： 可以直接修改的起始位置 * 参数3: 5: 是映射到内存的大小(不是索引位置) ,即将 1.txt 的多少个字节映射到内存 * 可以直接修改的范围就是 0-5 * 实际类型 DirectByteBuffer */
            MappedByteBuffer mappedByteBuffer = channel.map(FileChannel.MapMode.READ_WRITE, 0, 5);
    
            mappedByteBuffer.put(0, (byte) 'H');
            mappedByteBuffer.put(3, (byte) '9');
            mappedByteBuffer.put(5, (byte) 'Y');//IndexOutOfBoundsException
    
            randomAccessFile.close();
            System.out.println("修改成功~~");
    
    
    
        }
    }

通过多个 Buffer (即 Buffer 数组) 完成读 写操作:

/** * Scattering：将数据写入到buffer时，可以采用buffer数组，依次写入 [分散] * Gathering: 从buffer读取数据时，可以采用buffer数组，依次读 */
    public class ScatteringAndGatheringTest { 
        public static void main(String[] args) throws Exception { 
    
            //使用 ServerSocketChannel 和 SocketChannel 网络
    
            ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();
            InetSocketAddress inetSocketAddress = new InetSocketAddress(7000);
    
            //绑定端口到socket ，并启动
            serverSocketChannel.socket().bind(inetSocketAddress);
    
            //创建buffer数组
            ByteBuffer[] byteBuffers = new ByteBuffer[2];
            byteBuffers[0] = ByteBuffer.allocate(5);
            byteBuffers[1] = ByteBuffer.allocate(3);
    
            //等客户端连接(telnet)
            SocketChannel socketChannel = serverSocketChannel.accept();
            int messageLength = 8;   //假定从客户端接收8个字节
            //循环的读取
            while (true) { 
    
                int byteRead = 0;
    
                while (byteRead < messageLength ) { 
                    long l = socketChannel.read(byteBuffers);
                    byteRead += l; //累计读取的字节数
                    System.out.println("byteRead=" + byteRead);
                    //使用流打印, 看看当前的这个buffer的position 和 limit
                    Arrays.asList(byteBuffers).stream().map(buffer -> "postion=" + buffer.position() + ", limit=" + buffer.limit()).forEach(System.out::println);
                }
    
                //将所有的buffer进行flip
                Arrays.asList(byteBuffers).forEach(buffer -> buffer.flip());
    
                //将数据读出显示到客户端
                long byteWirte = 0;
                while (byteWirte < messageLength) { 
                    long l = socketChannel.write(byteBuffers); //
                    byteWirte += l;
                }
    
                //将所有的buffer 进行clear
                Arrays.asList(byteBuffers).forEach(buffer-> { 
                    buffer.clear();
                });
    
                System.out.println("byteRead:=" + byteRead + " byteWrite=" + byteWirte + ", messagelength" + messageLength);
            }
    
    
    
    
        }
    }

### Selector ###

*  Java 的 NIO，用非阻塞的 IO 方式。可以用一个线程，处理多个的客户端连接，就会使用到 Selector(选择器)
 *  Selector 能够检测多个注册的通道上是否有事件发生(注意:多个 Channel 以事件的方式可以注册到同一个 Selector)，如果有事件发生，便获取事件然后针对每个事件进行相应的处理。这样就可以只用一个单线程去管 理多个通道，也就是管理多个连接和请求。【示意图】
 *  只有在连接/通道真正有读写事件发生时，才会进行读写，就大大地减少了系统开销，并且不必为每个连接都 创建一个线程，不用去维护多个线程
 *  避免了多线程之间的上下文切换导致的开销

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvbGRfX19wbGF5_size_16_color_FFFFFF_t_70 8]

1.  Netty 的 IO 线程 NioEventLoop 聚合了 Selector(选择器，也叫多路复用器)，可以同时并发处理成百上千个客  
    户端连接。
2.  当线程从某客户端 Socket 通道进行读写数据时，若没有数据可用时，该线程可以进行其他任务。
3.  线程通常将非阻塞 IO 的空闲时间用于在其他通道上执行 IO 操作，所以单独的线程可以管理多个输入和输出  
    通道。
4.  由于读写操作都是非阻塞的，这就可以充分提升 IO 线程的运行效率，避免由于频繁 I/O 阻塞导致的线程挂  
    起。
5.  一个 I/O 线程可以并发处理 N 个客户端连接和读写操作，这从根本上解决了传统同步阻塞 I/O 一连接一线  
    程模型，架构的性能、弹性伸缩能力和可靠性都得到了极大的提升。

### Selector类相关方法 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvbGRfX19wbGF5_size_16_color_FFFFFF_t_70 9]

*  selector.select()//阻塞
 *  selector.select(1000);//阻塞 1000 毫秒，在 1000 毫秒后返回
 *  selector.wakeup();//唤醒 selector
 *  selector.selectNow();//不阻塞，立马返还

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvbGRfX19wbGF5_size_16_color_FFFFFF_t_70]: /images/20210813/fc02684964b84706a62dfeae7cbb2f32.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvbGRfX19wbGF5_size_16_color_FFFFFF_t_70 1]: /images/20210813/4ad41946cab847fbb0e113439dade6d2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvbGRfX19wbGF5_size_16_color_FFFFFF_t_70 2]: /images/20210813/c7eaf8b2d98f4d84832dbcfb661791f1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvbGRfX19wbGF5_size_16_color_FFFFFF_t_70 3]: /images/20210813/b3603593a5b0417bacd9d2ef5c514e9b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvbGRfX19wbGF5_size_16_color_FFFFFF_t_70 4]: /images/20210813/1990d6212d6b4ab2b193c1e3e3114b29.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvbGRfX19wbGF5_size_16_color_FFFFFF_t_70 5]: /images/20210813/9dc196d027874667b2a0719c6ea70f8e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvbGRfX19wbGF5_size_16_color_FFFFFF_t_70 6]: /images/20210813/397ba4c1551b4a69aab4736f8a88d2f9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvbGRfX19wbGF5_size_16_color_FFFFFF_t_70 7]: /images/20210813/7b9eae035be54420b8689b353ac640c4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvbGRfX19wbGF5_size_16_color_FFFFFF_t_70 8]: /images/20210813/c2ae7f124eaa40cdbd23bfe23d98876b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvbGRfX19wbGF5_size_16_color_FFFFFF_t_70 9]: /images/20210813/542ce7b6701d44edbccf05cc30a30b51.png

Netty--NIO

发表评论取消回复

还没有评论，来说两句吧...

相关阅读