消息系统Kafka笔试题:kafka 高效读写的因素

男娘i 2023-01-01 04:51 183阅读 0赞

## **1.在磁盘只做** **Sequence I/O 顺序读写** ##

kafka 生产者写数据是有序的，即 Partition 内部有序，数据以 append 的方式顺序追加写入。Consumer 消费数据也是有序的，指定 offset 后顺序读出 offset 之后的数据。顺序读写可以避免磁盘读数据时的多次寻道和旋转延迟

## **2.传统的IO流程** ##

举个例子说明传统IO流程，比如：从磁盘读取数据，然后从Socket发送到网络

传统IO流程：

![5052fd13b02d6f6531ee30e39fcf1289.png][]

1、第一次：将磁盘文件，读取到操作系统内核缓冲区；
    2、第二次：将内核缓冲区的数据，copy到application应用程序的buffer；
    3、第三步：将application应用程序buffer中的数据，copy到socket网络发送缓冲区(属于操作系统内核
    的缓冲区)；
    4、第四次：将socket buffer的数据，copy到网卡，由网卡进行网络传输。
    
    * 传统方式，读取磁盘文件并进行网络发送，经过的四次数据copy是非常繁琐的。实际IO读写，需要进行
    IO中断，需要CPU响应中断(带来上下文切换)，尽管后来引入DMA来接管CPU的中断请求，但四次copy是存在
    不必要的拷⻉的。

## **3.Sendfile 零拷⻉** ##

![4feaf63adc636930be128bd3f920d6a2.png][]

Linux2.1内核开始引入了sendfile函数，用于将文件通过socket传送 ,同时在Linux2.4内核做了重大优化，将零拷⻉推到顶峰

优化后的处理过程如下：

1.将文件拷⻉到kernel buffer中；
    2.向socket buffer中追加当前要发生的数据在kernel buffer中的位置和偏移量；
    3.根据socket buffer中的位置和偏移量直接将kernel buffer的数据copy到网卡设备中；
    
    *  经过上述过程，数据只经过了2次copy就从磁盘传送出去了。这个才是真正的Zero-Copy(这里的零拷⻉
    是针对kernel来讲的，数据在kernel模式下是Zero-Copy)。

## **4.PageCache 机制** ##

PageCache 功能是底层操作系统提供的，**用于缓存文件的⻚数据**，Kafka 重度依赖它实现大吞吐量和低延迟。 相对于 JVM 的缓存，**PageCache**没有 GC，减少开销，即使 Kafka 重启PageCache 还在，回收 PageCache 的代价小，而且只要生产者与消费者的速度相差不大，消费者会直接读取之前生产者写入 Page Cache 的数据，没有磁盘 IO。

[5052fd13b02d6f6531ee30e39fcf1289.png]: /images/20221120/edb0ba4599f2496590c542e322b2dc1a.png
[4feaf63adc636930be128bd3f920d6a2.png]: /images/20221120/98caf0e87f01428289f6223bf32f193e.png