并发编程Disruptor并发框架原理及使用（三十八）

红太狼 2023-01-01 02:51 191阅读 0赞

并发编程Disruptor并发框架原理及使用

**应用背景和介绍**

Disruptor  是英国外汇交易公司  LMAX  开发的一个高性能队列，研发的初衷是 解决内部的内存队列的延迟问题，而不是分布式队列。基于 Disruptor  开发的系 统单线程能支撑每秒 600  万订单， 2010  年在  QCon  演讲后，获得了业界关注。 据目前资料显示：应用  Disruptor  的知名项目有如下的一些： Storm, Camel, Log4j2,还有目前的美团点评技术团队也有很多不少的应用，或者说有一些借鉴了 它的设计机制。 Disruptor 是一个高性能的线程间异步通信的框架，即在同一个  JVM  进程中 的多线程间消息传递。

**传统队列问题**

在  JDK  中， Java  内部的队列  BlockQueue  的各种实现，仔细分析可以得知， 队列的底层数据结构一般分成三种：数组、链表和堆，堆这里是为了实现带有优 先级特性的队列暂且不考虑。 在稳定性和性能要求特别高的系统中，为了防止生产者速度过快，导致内存 溢出，只能选择有界队列；同时，为了减少 Java  的垃圾回收对系统性能的影响， 会尽量选择 Array  格式的数据结构。这样筛选下来，符合条件的队列就只有 ArrayBlockingQueue。但是  ArrayBlockingQueue  是通过 **加锁** 的方式保证线程安全， 而且 ArrayBlockingQueue  还存在 **伪共享** 问题，这两个问题严重影响了性能。 ArrayBlockingQueue 的这个伪共享问题存在于哪里呢，分析下核心的部分源 码，其中最核心的三个成员变量为

![20201230184841951.png][]

是在  ArrayBlockingQueue  的核心  enqueue  和  dequeue  方法中经常会用到的，这三 个变量很容易放到同一个缓存行中，进而产生伪共享问题。

**高性能的原理**

引入环形的数组结构：数组元素不会被回收，避免频繁的  GC ， 无锁的设计：采用 CAS  无锁方式，保证线程的安全性 属性填充：通过添加额外的无用信息，避免伪共享问题

环形数组结构是整个  Disruptor  的核心所在。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70][]

首先因为是数组，所以要比链表快，而且根据我们对上面缓存行的解释知道， 数组中的一个元素加载，相邻的数组元素也是会被预加载的，因此在这样的结构 中，cpu  无需时不时去主存加载数组中的下一个元素。而且，你可以为数组预先 分配内存，使得数组对象一直存在（除非程序终止）。这就意味着不需要花大量 的时间用于垃圾回收。此外，不像链表那样，需要为每一个添加到其上面的对象 创造节点对象—对应的，当删除节点时，需要执行相应的内存清理操作。环形数 组中的元素采用覆盖方式，避免了 jvm  的  GC 。 其次结构作为环形，数组的大小为 2  的  n  次方，这样元素定位可以通过位运 算效率会更高，这个跟一致性哈希中的环形策略有点像。在 disruptor  中，这个 牛逼的环形结构就是 RingBuffer ，既然是数组，那么就有大小，而且这个大小必 须是 2  的  n  次方 其实质只是一个普通的数组，只是当放置数据填充满队列（即到达 2^n-1  位 置）之后，再填充数据，就会从 0  开始，覆盖之前的数据，于是就相当于一个环。 每个生产者首先通过 CAS  竞争获取可以写的空间，然后再进行慢慢往里放数 据，如果正好这个时候消费者要消费数据，那么每个消费者都需要获取最大可消 费的下标。 同时，Disruptor 不像传统的队列，分为一个队头指针和一个队尾指针，而 是只有一个角标（上图的 seq ），它属于一个  volatile  变量，同时也是我们能够 不用锁操作就能实现 Disruptor  的原因之一，而且通过缓存行补充，避免伪共享 问题。该指针是通过一直自增的方式来获取下一个可写或者可读数据。

参考： [https://blog.csdn.net/zhouhengzhe/article/details/111994529][https_blog.csdn.net_zhouhengzhe_article_details_111994529]

[https://www.cnblogs.com/codeobj/p/11730492.html][https_www.cnblogs.com_codeobj_p_11730492.html]

[20201230184841951.png]: /images/20221120/5ea320cce68947d082ec2f61828226ff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70]: /images/20221120/b16206e07f7d41d0a94977d2e1d8b6e2.png
[https_blog.csdn.net_zhouhengzhe_article_details_111994529]: https://blog.csdn.net/zhouhengzhe/article/details/111994529
[https_www.cnblogs.com_codeobj_p_11730492.html]: https://www.cnblogs.com/codeobj/p/11730492.html