阿里Druid数据库连接池默认参数以及sql性能监控

水深无声 2022-04-11 07:57 1455阅读 0赞

根据综合性能，可靠性，稳定性，扩展性，易用性等因素替换成最优的[数据库][Link 1]连接池。

**Druid:druid-1.0.29**

**数据库**  Mysql.5.6.17

**替换目标:**替换掉C3P0,用druid来替换

**替换原因:**

1、性能方面 hikariCP>druid>tomcat-jdbc>dbcp>c3p0 。hikariCP的高性能得益于最大限度的避免锁竞争。

2、druid功能最为全面，sql拦截等功能，统计数据较为全面，具有良好的扩展性。

3、综合性能，扩展性等方面，可考虑使用druid或者hikariCP连接池，比较方便对jdbc接口进行监控跟踪等。

4、可开启prepareStatement缓存，对性能会有大概20%的提升。

*  psCache是connection私有的，所以不存在线程竞争的问题，开启pscache不会存在竞争的性能损耗。
 *  psCache的key为prepare执行的sql和catalog等，value对应的为prepareStatement对象。开启缓存主要是减少了解析sql的开销。

5、3p0历史悠久，代码及其复杂，不利于维护。并且存在deadlock的潜在风险。

6、Druid可以打印SQL，慢查询方面的日志

Druid 参数

<table>       
 <tbody> 
  <tr> 
   <td>配置参数</td> 
   <td>缺省值</td> 
   <td>游戏服设置的值</td> 
   <td>参数说明</td> 
  </tr> 
  <tr> 
   <td>initialSize</td> 
   <td>0</td> 
   <td>4</td> 
   <td>初始化连接数量</td> 
  </tr> 
  <tr> 
   <td>minIdle</td> 
   <td>0</td> 
   <td>4</td> 
   <td>最小空闲连接数</td> 
  </tr> 
  <tr> 
   <td>maxActive</td> 
   <td>8</td> 
   <td>8</td> 
   <td>最大并发连接数</td> 
  </tr> 
  <tr> 
   <td>maxWait</td> 
   <td>-1L</td> 
   <td>60000</td> 
   <td>获取连接时最大等待时间，单位毫秒。配置了maxWait之后，<br> 缺省启用公平锁，并发效率会有所下降，<br> 如果需要可以通过配置useUnfairLock属性为true使用非公平锁。<br></td> 
  </tr> 
  <tr> 
   <td>timeBetweenEvictionRunsMillis</td> 
   <td>60000</td> 
   <td>60000</td> 
   <td>配置间隔多久才进行一次检测，检测需要关闭的空闲连接，单位是毫秒<br> Destroy线程会检测连接的间隔时间</td> 
  </tr> 
  <tr> 
   <td>minEvictableIdleTimeMillis</td> 
   <td>1800000</td> 
   <td>1800000</td> 
   <td>配置一个连接在池中最小生存的时间，单位是毫秒</td> 
  </tr> 
  <tr> 
   <td>validationQuery</td> 
   <td>null</td> 
   <td>select 1</td> 
   <td>用来检测连接是否有效的sql，要求是一个查询语句</td> 
  </tr> 
  <tr> 
   <td>testOnBorrow</td> 
   <td>FALSE</td> 
   <td>FALSE</td> 
   <td>申请连接时执行validationQuery检测连接是否有效，做了这个配置会降低性能。</td> 
  </tr> 
  <tr> 
   <td>testOnReturn</td> 
   <td>FALSE</td> 
   <td>FALSE</td> 
   <td>归还连接时执行validationQuery检测连接是否有效，做了这个配置会降低性能</td> 
  </tr> 
  <tr> 
   <td>testWhileIdle</td> 
   <td>TRUE</td> 
   <td>TRUE</td> 
   <td>建议配置为true，不影响性能，并且保证安全性。 申请连接的时候检测，如果<br> 空闲时间大于 timeBetweenEvictionRunsMillis， 执行validationQuery检测连接是否有效。</td> 
  </tr> 
  <tr> 
   <td>poolPreparedStatements</td> 
   <td>FALSE</td> 
   <td>TRUE</td> 
   <td>false 是否缓存preparedStatement，也就是PSCache。<br> PSCache对支持游标的数据库性能提升巨大，比如说oracle。<br> 在mysql5.5以下的版本中没有PSCache功能，建议关闭掉。<br> 5.5及以上版本有PSCache，建议开启。</td> 
  </tr> 
  <tr> 
   <td>maxPoolPreparedStatementPerConnectionSize</td> 
   <td>10</td> 
   <td>100</td> 
   <td>要启用PSCache，必须配置大于0，当大于0时，<br> poolPreparedStatements自动触发修改为true。<br> 单个connnection独享一个statement cache，也就是说maxOpenPreparedStatements是针对单个connection链接的</td> 
  </tr> 
 </tbody> 
</table>

运行原理:

数据库连接池在初始化的时候会创建initialSize个连接，当有数据库操作时，会从池中取出一个连接。如果当前池中正在使用的连接数等于maxActive，则会等待一段时间，等待其他操作释放掉某一个连接，如果这个等待时间超过了maxWait，则会报错；如果当前正在使用的连接数没有达到maxActive，则判断当前是否空闲连接，如果有则直接使用空闲连接，如果没有则新建立一个连接。在连接使用完毕后，不是将其物理连接关闭，而是将其放入池中等待其他操作复用。 同时连接池内部有机制判断，如果当前的总的连接数少于miniIdle，则会建立新的空闲连接，以保证连接数得到miniIdle。如果当前连接池中某个连接在空闲了timeBetweenEvictionRunsMillis时间后仍然没有使用，则被物理性的关闭掉。有些数据库连接的时候有超时限制（mysql连接在8小时后断开），或者由于网络中断等原因，连接池的连接会出现失效的情况，这时候设置一个testWhileIdle参数为true，可以保证连接池内部定时检测连接的可用性，不可用的连接会被抛弃或者重建，最大情况的保证从连接池中得到的Connection对象是可用的。当然，为了保证绝对的可用性，你也可以使用testOnBorrow为true（即在获取Connection对象时检测其可用性），不过这样会影响性能。

如果要进行SQL监控，可以加入以下代码:

Log4j2Filter log4j2 = new Log4j2Filter(); 
         log4j2.setResultSetLogEnabled( false); 
         log4j2.setStatementSqlPrettyFormat( false); 
         log4j2.setStatementExecutableSqlLogEnable( true); 
         
         log4j2.setDataSourceLogEnabled( false); 
         log4j2.setConnectionLogEnabled( false); 
         log4j2.setStatementLogEnabled( false); 
         log4j2.setResultSetLogEnabled( false); 
         ret.setProxyFilters(Arrays.asList(log4j2));

闲置检测，创建连接，废弃连接清理由这三线程管理

Daemon Thread \[Abandoned connection cleanup thread\]  
Daemon Thread \[Druid-ConnectionPool-Create-1184124073\]   
Daemon Thread \[Druid-ConnectionPool-Destroy-1184124073\]

参考文章:[数据库连接池性能比对(hikari druid c3p0 dbcp jdbc)][hikari druid c3p0 dbcp jdbc]

对于sql的监控可以使用druid的web监控界面监控sql的执行效率：  
配置如下

spring.datasource.druid.driverClassName=com.mysql.jdbc.Driver
    #开发库
    spring.datasource.druid.url=jdbc:mysql://xxxx/xx?useUnicode=true&characterEncoding=utf8&allowMultiQueries=true
    spring.datasource.druid.username=xx
    spring.datasource.druid.password=xxx
    
    
    spring.datasource.type=com.alibaba.druid.pool.DruidDataSource
    spring.datasource.druid.initial-size=5
    spring.datasource.druid.min-idle=5
    spring.datasource.druid.maxActive=20
    spring.datasource.druid.maxWait=60000
    spring.datasource.druid.timeBetweenEvictionRunsMillis=60000
    spring.datasource.druid.minEvictableIdleTimeMillis=300000
    spring.datasource.druid.validationQuery=SELECT 1
    spring.datasource.druid.testWhileIdle=true
    spring.datasource.druid.testOnBorrow=true
    spring.datasource.druid.testOnReturn=false
    # 打开PSCache，并且指定每个连接上PSCache的大小
    spring.datasource.druid.poolPreparedStatements=true
    # 配置监控统计拦截的filters，去掉后监控界面sql无法统计，'wall'用于防火墙
    spring.datasource.druid.maxPoolPreparedStatementPerConnectionSize=20
    spring.datasource.druid.filters=stat,wall,log4j2
    # 通过connectProperties属性来打开mergeSql功能；慢SQL记录
    spring.datasource.druid.connectionProperties=druid.stat.mergeSql\=true;druid.stat.slowSqlMillis\=5000
    # 配置DruidStatFilter
    spring.datasource.druid.web-stat-filter.enabled=false
    spring.datasource.druid.web-stat-filter.url-pattern=/*
    spring.datasource.druid.web-stat-filter.exclusions=*.js,*.gif,*.jpg,*.bmp,*.png,*.css,*.ico,/druid/*
    # 配置DruidStatViewServlet
    spring.datasource.druid.stat-view-servlet.enabled=false
    spring.datasource.druid.stat-view-servlet.url-pattern=/druid/*
    #  禁用HTML页面上的“Reset All”功能
    spring.datasource.druid.stat-view-servlet.reset-enable=false
    # 登录名
    spring.datasource.druid.stat-view-servlet.login-username=admin
    # 登录密码
    spring.datasource.druid.stat-view-servlet.login-password=123456

项目启动后可以访问http://127.0.0.1:8085/druid/wall.html  
登录监控界面  
如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RpZGk3Njk2_size_16_color_FFFFFF_t_70]

[Link 1]: http://lib.csdn.net/base/mysql
[hikari druid c3p0 dbcp jdbc]: http://blog.csdn.net/qq_31125793/article/details/51241943
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RpZGk3Njk2_size_16_color_FFFFFF_t_70]: /images/20220411/9fbbbe67270541268838863d5fbb18bc.png