深入拆解Tomcat，Endpoint

刺骨的言语ヽ痛彻心扉 2022-01-09 09:11 280阅读 0赞

转载自：[https://www.toutiao.com/i6704513825745404423/?tt\_from=copy\_link&utm\_campaign=client\_share&timestamp=1561103290&app=news\_article\_lite&utm\_source=copy\_link&utm\_medium=toutiao\_ios&req\_id=20190621154810010023019038398CF00&group\_id=6704513825745404423][https_www.toutiao.com_i6704513825745404423_tt_from_copy_link_utm_campaign_client_share_timestamp_1561103290_app_news_article_lite_utm_source_copy_link_utm_medium_toutiao_ios_req_id_20190621154810010023019038398CF00_group_id_6704513825745404423]

# 一、NioEndpoint 组件：Tomcat 如何实现非阻塞 I/O #

UNIX 系统下的 I/O 模型有 5 种：同步阻塞 I/O、同步非阻塞 I/O、I/O 多路复用、信号驱动 I/O 和异步 I/O。

I/O 就是计算机内存与外部设备之间拷贝数据的过程。

**1，同步阻塞 I/O**

用户线程发起 read 调用后就阻塞了，让出 CPU。内核等待网卡数据到来，把数据从网卡拷贝到内核空间，接着把数据拷贝到用户空间，再把用户线程叫醒。

![京东年薪60W架构师带你深入拆解Tomcat，Endpoint][60W_Tomcat_Endpoint]

**2，同步非阻塞 I/O**

用户线程不断的发起 read 调用，数据没到内核空间时，每次都返回失败，直到数据到了内核空间，这一次 read 调用后，在等待数据从内核空间拷贝到用户空间这段时间里，线程还是阻塞的，等数据到了用户空间再把线程叫醒。

![京东年薪60W架构师带你深入拆解Tomcat，Endpoint][60W_Tomcat_Endpoint 1]

**3，I/O 多路复用**

用户线程的读取操作分成两步了，线程先发起 select 调用，目的是问内核数据准备好了吗？等内核把数据准备好了，用户线程再发起 read 调用。在等待数据从内核空间拷贝到用户空间这段时间里，线程还是阻塞的。那为什么叫 I/O 多路复用呢？因为一次 select 调用可以向内核查多个数据通道（Channel）的状态，所以叫多路复用。

![京东年薪60W架构师带你深入拆解Tomcat，Endpoint][60W_Tomcat_Endpoint 2]

**4，异步 I/O**

用户线程发起 read 调用的同时注册一个回调函数，read 立即返回，等内核将数据准备好后，再调用指定的回调函数完成处理。在这个过程中，用户线程一直没有阻塞。

![京东年薪60W架构师带你深入拆解Tomcat，Endpoint][60W_Tomcat_Endpoint 3]

Tomcat 的 NioEndPoint 组件实现了 I/O 多路复用模型，它一共包含 LimitLatch、Acceptor、Poller、SocketProcessor 和 Executor 共 5 个组件。

![京东年薪60W架构师带你深入拆解Tomcat，Endpoint][60W_Tomcat_Endpoint 4]

LimitLatch 是连接控制器，它负责控制最大连接数，NIO 模式下默认是 10000，达到这个阈值后，连接请求被拒绝。

Acceptor 跑在一个单独的线程里，它在一个死循环里调用 accept 方法来接收新连接，一旦有新的连接请求到来，accept 方法返回一个 Channel 对象，接着把 Channel 对象交给 Poller 去处理。

Poller 的本质是一个 Selector，也跑在单独线程里。Poller 在内部维护一个 Channel 数组，它在一个死循环里不断检测 Channel 的数据就绪状态，一旦有 Channel 可读，就生成一个 SocketProcessor 任务对象扔给 Executor 去处理。每个 Poller 线程都有自己的 Queue。每个 Poller 线程可能同时被多个 Acceptor 线程调用来注册 PollerEvent。Poller 不断的通过内部的 Selector 对象向内核查询 Channel 的状态，一旦可读就生成任务类 SocketProcessor 交给 Executor 去处理。Poller 的另一个重要任务是循环遍历检查自己所管理的 SocketChannel 是否已经超时，如果有超时就关闭这个 SocketChannel。

Executor 就是线程池，负责运行 SocketProcessor 任务类，SocketProcessor 的 run 方法会调用 Http11Processor 来读取和解析请求数据。ServerSocketChannel 通过 accept() 接受新的连接，accept() 方法返回获得 SocketChannel 对象，然后将 SocketChannel 对象封装在一个 PollerEvent 对象中，并将 PollerEvent 对象压入 Poller 的 Queue 里，这是个典型的生产者 - 消费者模式，Acceptor 与 Poller 线程之间通过 Queue 通信。

高并发就是能快速地处理大量的请求，需要合理设计线程模型让 CPU 忙起来，尽量不要让线程阻塞，因为一阻塞，CPU 就闲下来了。另外就是有多少任务，就用相应规模的线程数去处理。我们注意到 NioEndpoint 要完成三件事情：接收连接、检测 I/O 事件以及处理请求，那么最核心的就是把这三件事情分开，用不同规模的线程去处理，

I/O 模型是为了解决内存和外部设备速度差异的问题。我们平时说的阻塞或非阻塞是指应用程序在发起 I/O 操作时，是立即返回还是等待。而同步和异步，是指应用程序在与内核通信时，数据从内核空间到应用空间的拷贝，是由内核主动发起还是由应用程序来触发。

# 二、Nio2Endpoint 组件：Tomcat 如何实现异步 I/O #

**1，Nio2Endpoint**

![京东年薪60W架构师带你深入拆解Tomcat，Endpoint][60W_Tomcat_Endpoint 5]

Nio2Acceptor 扩展了 Acceptor，用异步 I/O 的方式来接收连接，跑在一个单独的线程里，也是一个线程组。Nio2Acceptor 接收新的连接后，得到一个 AsynchronousSocketChannel，Nio2Acceptor 把 AsynchronousSocketChannel 封装成一个 Nio2SocketWrapper，并创建一个 SocketProcessor 任务类交给线程池处理，并且 SocketProcessor 持有 Nio2SocketWrapper 对象。

Executor 在执行 SocketProcessor 时，SocketProcessor 的 run 方法会调用 Http11Processor 来处理请求，Http11Processor 会通过 Nio2SocketWrapper 读取和解析请求数据，请求经过容器处理后，再把响应通过 Nio2SocketWrapper 写出。

Nio2Endpoint 中没有 Poller 组件，也就是没有 Selector。因为在异步 I/O 模式下，Selector 的工作交给内核来做了。

**2，Nio2Acceptor**

Nio2Acceptor 的监听连接的过程不是在一个死循环里不断的调 accept 方法，而是通过回调函数来完成的。

# 三、AprEndPoint 组件：Tomcat APR 提高 I/O 性能的秘密 #

APR（Apache Portable Runtime Libraries）是 Apache 可移植运行时库，它是用 C 语言实现的，其目的是向上层应用程序提供一个跨平台的操作系统接口库。Tomcat 可以用它来处理包括文件和网络 I/O，从而提升性能。

跟 NioEndpoint 一样，AprEndpoint 也实现了非阻塞 I/O，它们的区别是：NioEndpoint 通过调用 Java 的 NIO API 来实现非阻塞 I/O，而 AprEndpoint 是通过 JNI 调用 APR 本地库而实现非阻塞 I/O 的。

![京东年薪60W架构师带你深入拆解Tomcat，Endpoint][60W_Tomcat_Endpoint 6]

**1，APR 提升性能的秘密**

![京东年薪60W架构师带你深入拆解Tomcat，Endpoint][60W_Tomcat_Endpoint 7]

Tomcat 的 Endpoint 组件在接收网络数据时需要预先分配好一块 Buffer，所谓的 Buffer 就是字节数组byte\[\]，Java 通过 JNI 调用把这块 Buffer 的地址传给 C 代码，C 代码通过操作系统 API 读取 Socket 并把数据填充到这块 Buffer。Java NIO API 提供了两种 Buffer 来接收数据：HeapByteBuffer 和 DirectByteBuffer。

HeapByteBuffer 对象本身在 JVM 堆上分配，并且它持有的字节数组byte\[\]也是在 JVM 堆上分配。但是如果用HeapByteBuffer来接收网络数据，需要把数据从内核先拷贝到一个临时的本地内存，再从临时本地内存拷贝到 JVM 堆，而不是直接从内核拷贝到 JVM 堆上。这是为什么呢？这是因为数据从内核拷贝到 JVM 堆的过程中，JVM 可能会发生 GC，GC 过程中对象可能会被移动，也就是说 JVM 堆上的字节数组可能会被移动，这样的话 Buffer 地址就失效了。如果这中间经过本地内存中转，从本地内存到 JVM 堆的拷贝过程中 JVM 可以保证不做 GC。

DirectByteBuffer 对象本身在 JVM 堆上，但是它持有的字节数组不是从 JVM 堆上分配的，而是从本地内存分配的。

**2，sendfile**

![京东年薪60W架构师带你深入拆解Tomcat，Endpoint][60W_Tomcat_Endpoint 8]

Tomcat 的 AprEndpoint 通过操作系统层面的 sendfile 特性解决了这个问题，sendfile 系统调用方式非常简洁。

![京东年薪60W架构师带你深入拆解Tomcat，Endpoint][60W_Tomcat_Endpoint 9]

除此之外，APR 提升性能的秘密还有：通过 DirectByteBuffer 避免了 JVM 堆与本地内存之间的内存拷贝；通过 sendfile 特性避免了内核与应用之间的内存拷贝以及用户态和内核态的切换。

[https_www.toutiao.com_i6704513825745404423_tt_from_copy_link_utm_campaign_client_share_timestamp_1561103290_app_news_article_lite_utm_source_copy_link_utm_medium_toutiao_ios_req_id_20190621154810010023019038398CF00_group_id_6704513825745404423]: https://www.toutiao.com/i6704513825745404423/?tt_from=copy_link&utm_campaign=client_share&timestamp=1561103290&app=news_article_lite&utm_source=copy_link&utm_medium=toutiao_ios&req_id=20190621154810010023019038398CF00&group_id=6704513825745404423
[60W_Tomcat_Endpoint]: http://p1.pstatp.com/large/pgc-image/f5d0de91d9184e17bae7dc72b07db8ee
[60W_Tomcat_Endpoint 1]: http://p3.pstatp.com/large/pgc-image/4578b0187f2948b69d5aff4106a939b9
[60W_Tomcat_Endpoint 2]: http://p9.pstatp.com/large/pgc-image/583ac968cbbf48de808623e7f09f6bd5
[60W_Tomcat_Endpoint 3]: http://p3.pstatp.com/large/pgc-image/728d2625be394a53b3f12cfe518b3149
[60W_Tomcat_Endpoint 4]: http://p1.pstatp.com/large/pgc-image/d6e1bc629f194125bdc27f917f16f1d5
[60W_Tomcat_Endpoint 5]: http://p1.pstatp.com/large/pgc-image/e7bdfc05d1794d5a83e365ff3e4de728
[60W_Tomcat_Endpoint 6]: http://p3.pstatp.com/large/pgc-image/8dd3484ae9284b5ea76725b3fe35305b
[60W_Tomcat_Endpoint 7]: http://p1.pstatp.com/large/pgc-image/9903e9f2bcf74961937986b132137154
[60W_Tomcat_Endpoint 8]: http://p9.pstatp.com/large/pgc-image/08bd73a229e34f4ba321d114c70834ed
[60W_Tomcat_Endpoint 9]: http://p3.pstatp.com/large/pgc-image/40428984f43d4f7a967c52ab31612f87