数据库连性池性能测试(hikariCP,druid,tomcat-jdbc,dbcp,c3p0)

青旅半醒 2021-09-14 21:38 373阅读 0赞

[原文地址][Link 1]

摘要: 本文主要是对这hikariCP,druid,tomcat-jdbc,dbcp,c3p0几种连接池的详细的功能和性能测试对比,通过这次测试对目前主流的一些连接池做一个全面的对比，从而给业务系统一个最佳的推荐。而唯品会venus-data支持三种连接池DBCP、C3P0、DRUID，其中C3P0作为默认的连接池。因此需要针对现状，研发一种分布式数据库连接池。

### 测试结论 ###

1.  性能方面 hikariCP>druid>tomcat-jdbc>dbcp>c3p0 。hikariCP的高性能得益于最大限度的避免锁竞争。
2.  druid功能最为全面，sql拦截等功能，统计数据较为全面，具有良好的扩展性。
3.  综合考虑到目前venus已经支持druid且hikariCP并未发现有太多大规模的生产实践的案例，后续将推荐使用druid并把codegen生成的代码默认连接池为druid。
4.  可开启prepareStatement缓存，对性能会有大概10%的提升。

### 功能对比 ###

<table style="max-width:100%;background-color:rgb(254,254,254);border-collapse:separate;border-spacing:0px;width:605.333px;margin-bottom:1.5em;border-width:1px 1px 1px 0px;border-top-style:solid;border-right-style:solid;border-bottom-style:solid;border-top-color:rgb(221,221,221);border-right-color:rgb(221,221,221);border-bottom-color:rgb(221,221,221);font-size:14px;line-height:1.3em;color:rgb(51,51,51);font-family:'Helvetica Neue', Helvetica, Tahoma, Arial, STXihei, 'Microsoft YaHei', '微软雅黑', sans-serif;"> 
 <thead> 
  <tr style="line-height:1.3em;"> 
   <th style="line-height:1.5em;vertical-align:bottom;border-top:0px;">功能</th> 
   <th style="line-height:1.5em;vertical-align:bottom;border-top:0px;">dbcp</th> 
   <th style="line-height:1.5em;vertical-align:bottom;border-top:0px;">druid</th> 
   <th style="line-height:1.5em;vertical-align:bottom;border-top:0px;">c3p0</th> 
   <th style="line-height:1.5em;vertical-align:bottom;border-top:0px;">tomcat-jdbc</th> 
   <th style="line-height:1.5em;vertical-align:bottom;border-top:0px;">HikariCP</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr style="line-height:1.3em;"> 
   <td style="line-height:1.3em;vertical-align:top;">是否支持PSCache</td> 
   <td style="line-height:1.3em;vertical-align:top;">是</td> 
   <td style="line-height:1.3em;vertical-align:top;">是</td> 
   <td style="line-height:1.3em;vertical-align:top;">是</td> 
   <td style="line-height:1.3em;vertical-align:top;">否</td> 
   <td style="line-height:1.3em;vertical-align:top;">否</td> 
  </tr> 
  <tr style="line-height:1.3em;"> 
   <td style="line-height:1.3em;vertical-align:top;">监控</td> 
   <td style="line-height:1.3em;vertical-align:top;">jmx</td> 
   <td style="line-height:1.3em;vertical-align:top;">jmx/log/http</td> 
   <td style="line-height:1.3em;vertical-align:top;">jmx,log</td> 
   <td style="line-height:1.3em;vertical-align:top;">jmx</td> 
   <td style="line-height:1.3em;vertical-align:top;">jmx</td> 
  </tr> 
  <tr style="line-height:1.3em;"> 
   <td style="line-height:1.3em;vertical-align:top;">扩展性</td> 
   <td style="line-height:1.3em;vertical-align:top;">弱</td> 
   <td style="line-height:1.3em;vertical-align:top;">好</td> 
   <td style="line-height:1.3em;vertical-align:top;">弱</td> 
   <td style="line-height:1.3em;vertical-align:top;">弱</td> 
   <td style="line-height:1.3em;vertical-align:top;">弱</td> 
  </tr> 
  <tr style="line-height:1.3em;"> 
   <td style="line-height:1.3em;vertical-align:top;">sql拦截及解析</td> 
   <td style="line-height:1.3em;vertical-align:top;">无</td> 
   <td style="line-height:1.3em;vertical-align:top;">支持</td> 
   <td style="line-height:1.3em;vertical-align:top;">无</td> 
   <td style="line-height:1.3em;vertical-align:top;">无</td> 
   <td style="line-height:1.3em;vertical-align:top;">无</td> 
  </tr> 
  <tr style="line-height:1.3em;"> 
   <td style="line-height:1.3em;vertical-align:top;">代码</td> 
   <td style="line-height:1.3em;vertical-align:top;">简单</td> 
   <td style="line-height:1.3em;vertical-align:top;">中等</td> 
   <td style="line-height:1.3em;vertical-align:top;">复杂</td> 
   <td style="line-height:1.3em;vertical-align:top;">简单</td> 
   <td style="line-height:1.3em;vertical-align:top;">简单</td> 
  </tr> 
  <tr style="line-height:1.3em;"> 
   <td style="line-height:1.3em;vertical-align:top;">更新时间</td> 
   <td style="line-height:1.3em;vertical-align:top;">2015.8.6</td> 
   <td style="line-height:1.3em;vertical-align:top;">2015.10.10</td> 
   <td style="line-height:1.3em;vertical-align:top;">2015.12.09</td> 
   <td style="line-height:1.3em;vertical-align:top;">&nbsp;</td> 
   <td style="line-height:1.3em;vertical-align:top;">2015.12.3</td> 
  </tr> 
  <tr style="line-height:1.3em;"> 
   <td style="line-height:1.3em;vertical-align:top;">特点</td> 
   <td style="line-height:1.3em;vertical-align:top;">依赖于common-pool</td> 
   <td style="line-height:1.3em;vertical-align:top;">阿里开源，功能全面</td> 
   <td style="line-height:1.3em;vertical-align:top;">历史久远，代码逻辑复杂，且不易维护</td> 
   <td style="line-height:1.3em;vertical-align:top;">&nbsp;</td> 
   <td style="line-height:1.3em;vertical-align:top;">优化力度大，功能简单，起源于boneCP</td> 
  </tr> 
  <tr style="line-height:1.3em;"> 
   <td style="line-height:1.3em;vertical-align:top;">连接池管理</td> 
   <td style="line-height:1.3em;vertical-align:top;">LinkedBlockingDeque</td> 
   <td style="line-height:1.3em;vertical-align:top;">数组</td> 
   <td style="line-height:1.3em;vertical-align:top;">&nbsp;</td> 
   <td style="line-height:1.3em;vertical-align:top;">FairBlockingQueue</td> 
   <td style="line-height:1.3em;vertical-align:top;">threadlocal+CopyOnWriteArrayList</td> 
  </tr> 
  <tr style="line-height:1.3em;"> 
   <td style="line-height:1.3em;vertical-align:top;">线程</td> 
   <td style="line-height:1.3em;vertical-align:top;">1个线程(心跳)</td> 
   <td style="line-height:1.3em;vertical-align:top;">2个线程</td> 
   <td style="line-height:1.3em;vertical-align:top;">4个</td> 
   <td style="line-height:1.3em;vertical-align:top;">&nbsp;</td> 
   <td style="line-height:1.3em;vertical-align:top;">3个</td> 
  </tr> 
 </tbody> 
</table>

#### 线程的作用 ####

1.  dbcp：一个线程：负责心跳，最小连接数维持，最大空闲时间和防连接泄露。
2.  druid: 两个线程： 其中一个负责异步创建。一个负责最小连接数的维持。 其中心跳是通过获取连接，来判定是否小于心跳间隔。
3.  hikariCP: 三个线程： 其中一个为定时线程，解决最大空闲时间。两个为新建连接和关闭连接。 均是连接池，空闲5s，线程便会关闭。
4.  c3p0: 四个线程；三个helperThread （pollerThread）,一个定时AdminTaskTimer（DeadlockDetector）。   
    由于boneCP被hikariCP替代，并且已经不再更新，boneCP没有进行调研。   
    proxool网上有评测说在并发较高的情况下会出错，proxool便没有进行调研。   
    druid的功能比较全面，且扩展性较好，比较方便对jdbc接口进行监控跟踪等。   
    c3p0历史悠久，代码及其复杂，不利于维护。并且存在deadlock的潜在风险。

### 国内公司连接池使用情况 ###

### 性能测试 ###

#### 环境配置: ####

#### 获取关闭连接性能测试 ####

测试说明如下:

*  初始连接和最小连接均为5，最大连接为20。在borrow和return均不心跳检测
 *  其中打开关闭次数为: 100w次
 *  测试用例和mysql在同一台机器上面，尽量避免io的影响
 *  使用mock和连接mysql在不同线程并发下的响应时间

![jyMRRrI.png_web][]mock性能数据 (单位:ms)

![Ibm6FfE.png_web][]

mysql性能数据 (单位:ms)

测试结果：

*  mock和mysql连接性能表现差不多，主要是由于初始化的时候建立了连接后期不再建立连接，和使用mock连接逻辑一致。
 *  性能表现：hikariCP>druid>tomcat-jdbc>dbcp>c3p0。
 *  hikariCP 的性能及其优异。hikariCP号称java平台最快的数据库连接池。
 *  hikariCP在并发较高的情况下，性能基本上没有下降。
 *  c3p0连接池的性能很差，不建议使用该数据库连接池。

hikariCP性能分析：

*  hikariCP通过优化(concurrentBag，fastStatementList )集合来提高并发的读写效率。
 *  hikariCP使用threadlocal缓存连接及大量使用CAS的机制，最大限度的避免lock。单可能带来cpu使用率的上升。
 *  从字节码的维度优化代码。 (default inline threshold for a JVM running the server Hotspot compiler is 35 bytecodes ）让方法尽量在35个字节码一下，来提升jvm的处理效率。

#### 查询一条语句性能测试 ####

测试说明：

*  初始连接和最小连接均为8，最大连接为8。在borrow和return均不心跳检测
 *  测试在不同并发下查询的次数为10w次的总耗时对比，操作步骤为 1：打开连接 2：执行 ：select 3. 关闭连接
 *  测试用例和mysql在同一台机器上面，尽量避免io的影响

![YZ3q2m6.png_web][]

测试数据：

测试结果：

*  在并发比较少的情况下，每个连接池的响应时间差不多。是由于并发少，基本上没有资源竞争。
 *  在并发较高的情况下，随着并发的升高，hikariCP响应时间基本上没有变动。
 *  c3p0随着并发的提高，性能急剧下降。

#### pscache性能对比 ####

测试说明：

*  通过druid进行设置pscache和不设置pscache的性能对比
 *  初始连接和最小连接均为8，最大连接为8。在borrow和return均不心跳检测。并且执行的并发数为8.
 *  查询10w次。查询流程为：1：建立连接，2：循环查询preparestatement语句 3：close连接
 *  测试用例和mysql在同一台机器上面，尽量避免io的影响

测试数据：

测试结果：

*  开启psCache缓存,性能大概有10%幅度的提升。可考虑开启pscache.

测试说明：

*  psCache是connection私有的，所以不存在线程竞争的问题，开启pscache不会存在竞争的性能损耗。
 *  psCache的key为prepare执行的sql和catalog等，value对应的为prepareStatement对象。开启缓存主要是减少了解析sql的开销。

[Link 1]: https://www.tuicool.com/articles/qayayiM
[jyMRRrI.png_web]: https://img2.tuicool.com/jyMRRrI.png!web
[Ibm6FfE.png_web]: https://img1.tuicool.com/Ibm6FfE.png!web
[YZ3q2m6.png_web]: https://img2.tuicool.com/YZ3q2m6.png!web