SpringBoot 集成数据源Druid + 后台监控

蔚落 2022-11-30 04:21 194阅读 0赞

**Druid**

*  是一个阿里开源的连接池组件
 *  加⼊入了日志监控，不需要额外的界面开发

详细介绍可以看官方文档：https://www.alibabacloud.com/help/zh/doc-detail/72987.htm

在springboot 2.0 以上默认都是使⽤用Hikari数据源， Hikari与Druid都是当前⽐比较优秀的数据源

**com.alibaba.druid.pool.DruidDataSource 基本配置参数如下：**

<table> 
 <thead> 
  <tr> 
   <th>配置</th> 
   <th>缺省值</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>name</td> 
   <td>&nbsp;</td> 
   <td>配置这个属性的意义在于，如果存在多个数据源，监控的时候可以通过名字来区分开来。 如果没有配置，将会生成一个名字，格式是：“DataSource-” + System.identityHashCode(this)</td> 
  </tr> 
  <tr> 
   <td>jdbcUrl</td> 
   <td>&nbsp;</td> 
   <td>连接数据库的url，不同数据库不一样。例如： mysql : jdbc:mysql://10.20.153.104:3306/druid2 oracle : jdbc:oracle:thin:@10.20.149.85:1521:ocnauto</td> 
  </tr> 
  <tr> 
   <td>username</td> 
   <td>&nbsp;</td> 
   <td>连接数据库的用户名</td> 
  </tr> 
  <tr> 
   <td>password</td> 
   <td>&nbsp;</td> 
   <td>连接数据库的密码。如果你不希望密码直接写在配置文件中，可以使用ConfigFilter。详细看这里：https://github.com/alibaba/druid/wiki/%E4%BD%BF%E7%94%A8ConfigFilter</td> 
  </tr> 
  <tr> 
   <td>driverClassName</td> 
   <td>&nbsp;</td> 
   <td>根据url自动识别 这一项可配可不配，如果不配置druid会根据url自动识别dbType，然后选择相应的driverClassName(建议配置下)</td> 
  </tr> 
  <tr> 
   <td>initialSize</td> 
   <td>0</td> 
   <td>初始化时建立物理连接的个数。初始化发生在显示调用init方法，或者第一次getConnection时</td> 
  </tr> 
  <tr> 
   <td>maxActive</td> 
   <td>8</td> 
   <td>最大连接池数量</td> 
  </tr> 
  <tr> 
   <td>maxIdle</td> 
   <td>8</td> 
   <td>已经不再使用，配置了也没效果</td> 
  </tr> 
  <tr> 
   <td>minIdle</td> 
   <td>&nbsp;</td> 
   <td>最小连接池数量</td> 
  </tr> 
  <tr> 
   <td>maxWait</td> 
   <td>&nbsp;</td> 
   <td>获取连接时最大等待时间，单位毫秒。配置了maxWait之后，缺省启用公平锁，并发效率会有所下降，如果需要可以通过配置useUnfairLock属性为true使用非公平锁。</td> 
  </tr> 
  <tr> 
   <td>poolPreparedStatements</td> 
   <td>false</td> 
   <td>是否缓存preparedStatement，也就是PSCache。PSCache对支持游标的数据库性能提升巨大，比如说oracle。在mysql下建议关闭。</td> 
  </tr> 
  <tr> 
   <td>maxOpenPreparedStatements</td> 
   <td>-1</td> 
   <td>要启用PSCache，必须配置大于0，当大于0时，poolPreparedStatements自动触发修改为true。在Druid中，不会存在Oracle下PSCache占用内存过多的问题，可以把这个数值配置大一些，比如说100</td> 
  </tr> 
  <tr> 
   <td>validationQuery</td> 
   <td>&nbsp;</td> 
   <td>用来检测连接是否有效的sql，要求是一个查询语句。如果validationQuery为null，testOnBorrow、testOnReturn、testWhileIdle都不会其作用。</td> 
  </tr> 
  <tr> 
   <td>testOnBorrow</td> 
   <td>true</td> 
   <td>申请连接时执行validationQuery检测连接是否有效，做了这个配置会降低性能。</td> 
  </tr> 
  <tr> 
   <td>validationQueryTimeout</td> 
   <td>&nbsp;</td> 
   <td>单位：秒，检测连接是否有效的超时时间。底层调⽤用jdbc Statement对象的void setQueryTimeout(int seconds)⽅方法</td> 
  </tr> 
  <tr> 
   <td>testOnReturn</td> 
   <td>false</td> 
   <td>归还连接时执行validationQuery检测连接是否有效，做了这个配置会降低性能</td> 
  </tr> 
  <tr> 
   <td>testWhileIdle</td> 
   <td>false</td> 
   <td>建议配置为true，不影响性能，并且保证安全性。申请连接的时候检测，如果空闲时间大于timeBetweenEvictionRunsMillis，执行validationQuery检测连接是否有效。</td> 
  </tr> 
  <tr> 
   <td>timeBetweenEvictionRunsMillis</td> 
   <td>1分钟（1.0.14）</td> 
   <td>有两个含义： 1) Destroy线程会检测连接的间隔时间2) testWhileIdle的判断依据，详细看testWhileIdle属性的说明</td> 
  </tr> 
  <tr> 
   <td>numTestsPerEvictionRun</td> 
   <td>&nbsp;</td> 
   <td>不再使用，一个DruidDataSource只支持一个EvictionRun</td> 
  </tr> 
  <tr> 
   <td>minEvictableIdleTimeMillis</td> 
   <td>30分钟（1.0.14）</td> 
   <td>连接保持空闲⽽而不不被驱逐的最⻓长时间</td> 
  </tr> 
  <tr> 
   <td>connectionInitSqls</td> 
   <td>&nbsp;</td> 
   <td>物理连接初始化的时候执行的sql</td> 
  </tr> 
  <tr> 
   <td>exceptionSorter</td> 
   <td>根据dbType自动识别</td> 
   <td>当数据库抛出一些不可恢复的异常时，抛弃连接</td> 
  </tr> 
  <tr> 
   <td>filters</td> 
   <td>&nbsp;</td> 
   <td>属性类型是字符串，通过别名的方式配置扩展插件，常用的插件有： 监控统计用的filter:stat日志用的filter:log4j防御sql注入的filter:wall</td> 
  </tr> 
  <tr> 
   <td>proxyFilters</td> 
   <td>&nbsp;</td> 
   <td>类型是List&lt;com.alibaba.druid.filter.</td> 
  </tr> 
  <tr> 
   <td>maxPoolPreparedStatementPerConnectionSize</td> 
   <td>10</td> 
   <td>要启⽤用PSCache，必须配置⼤大于0，当⼤大于0时poolPreparedStatements自动触发修改为true。单个connnection独享⼀一个statement cache，也就是说maxOpenPreparedStatements是针对单个connection链接的</td> 
  </tr> 
 </tbody> 
</table>

**连接池运行原理**

*  连接池初始化的时候按照initialSize创建多个连接
 *  有DB操作访问的时候，就从里面取一个
 *  如果当前正在使用的连接=maxActive,就会进入等待，没有到maxActive拿一个空闲连接，没有空闲就创建一个新连接，等待超过maxWati则会报错
 *  使用完毕还回去等待其它人用，不会物理销毁
 *  每一个connection在连接池里都有空闲时长的，允许最大空闲时长：minEvictableldleTimeMillis,多久检测一次：timeBetweenEvictionRunsMillis
 *  maxActive如何配置：理论上应该设置成最大并发数
 *  只要连接被前端业务拿到就算不空闲了，这个时候如果说长时间占有连接，连接数是不会崩溃，连接池主动关闭是使用中的连接，属于一个高级功能  
    removeAbandoned=“true”  
    removeAbandonedTimeout=“60”  
    logAbandoned=“true”

知道了连接池的运行原理之后，我们就正式来用SpringBoot来集成它吧

1.  导入依赖：

<dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>druid-spring-boot-starter</artifactId>
        <version>1.1.21</version>
    </dependency>

1.  编写配置文件：application.yaml

spring:
    datasource:
      username: root
      password: 123456
      url: jdbc:mysql://localhost:3306/ec_admin?useUnicode=true&characterEncoding=UTF-8
      driver-class-name: com.mysql.jdbc.Driver
      type: com.alibaba.druid.pool.DruidDataSource
      #Spring Boot 默认是不注入这些属性值的，需要自己绑定
      #druid 数据源专有配置
      initialSize: 5
      minIdle: 5
      maxActive: 20
      maxWait: 60000
      timeBetweenEvictionRunsMillis: 60000
      minEvictableIdleTimeMillis: 300000
      validationQuery: SELECT 1 FROM DUAL
      testWhileIdle: true
      testOnBorrow: false
      testOnReturn: false
      # 打开PSCache
      poolPreparedStatements: true
      #配置监控统计拦截的filters，stat:监控统计、log4j：日志记录、wall：防御sql注入
      #如果运行时报错  java.lang.ClassNotFoundException: org.apache.log4j.Priority
      #则导入 log4j 依赖即可，Maven 地址： https://mvnrepository.com/artifact/log4j/log4j
      filters: stat,wall,log4j,config
      #指定每个连接上PSCache的大小
      maxPoolPreparedStatementPerConnectionSize: 20
      #合并多个DruidDataSource的监控数据
      useGlobalDataSourceStat: true
      #通过connectProperties属性来打开mergeSql功能；慢SQL记录
      connectionProperties: druid.stat.mergeSql=true;druid.stat.slowSqlMillis=5000

3、编写配置类：

@Configuration
    public class DruidConfig {
    
        @ConfigurationProperties(prefix = "spring.datasource")
        @Bean
        public DataSource druidDataSource(){
            return new DruidDataSource();
        }
        //因为Springboot内置了servlet容器，所以没有web.xml，替代方法就是将ServletRegistrationBean注册进去
        //加入后台监控
        @Bean  //这里其实就相当于servlet的web.xml
        public ServletRegistrationBean statViewServlet(){
            ServletRegistrationBean<StatViewServlet> bean =
                    new ServletRegistrationBean<StatViewServlet>(new StatViewServlet(),"/druid/*");
    
            //后台需要有人登录，进行配置
            //bean.addUrlMappings(); 这个可以添加映射，我们在构造里已经写了
            //设置一些初始化参数
            Map<String,String> initParas = new HashMap<String,String>();
            initParas.put("loginUsername","admin");//它这个账户密码是固定的
            initParas.put("loginPassword","123456");
            //允许谁能防伪
            initParas.put("allow","");//这个值为空或没有就允许所有人访问，ip白名单
            //initParas.put("allow","localhost");//只允许本机访问，多个ip用逗号,隔开
            //initParas.put("deny","");//ip黑名单，拒绝谁访问 deny和allow同时存在优先deny
            initParas.put("resetEnable","false");//禁用HTML页面的Reset按钮
            bean.setInitParameters(initParas);
            return bean;
        }
    
        //再配置一个过滤器，Servlet按上面的方式注册Filter也只能这样
        @Bean
        public FilterRegistrationBean webStatFilter(){
            FilterRegistrationBean bean = new FilterRegistrationBean();
            //可以设置也可以获取,设置一个阿里巴巴的过滤器
            bean.setFilter(new WebStatFilter());
            bean.addUrlPatterns("/*");
            //可以过滤和排除哪些东西
            Map<String,String> initParams = new HashMap<String,String>();
            //把不需要监控的过滤掉,这些不进行统计
            initParams.put("exclusions","*.js,*.css,/druid/*");
            bean.setInitParameters(initParams);
            return bean;
        }

编写完之后我们启动项目，访问http://localhost:8080/druid/login.html  
就会到Druid的监控登录界面  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hpX2FsYW4_size_16_color_FFFFFF_t_70]  
输入我们配置的登录用户名和密码进行登录即可访问  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hpX2FsYW4_size_16_color_FFFFFF_t_70 1]  
使用这个我们可以很好的监控我们的数据库了  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hpX2FsYW4_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hpX2FsYW4_size_16_color_FFFFFF_t_70 3]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hpX2FsYW4_size_16_color_FFFFFF_t_70]: /images/20221124/ffa41cd38a3c48b4bf48754fd9375729.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hpX2FsYW4_size_16_color_FFFFFF_t_70 1]: /images/20221124/456427ee5a6046fa91d2228be440d47c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hpX2FsYW4_size_16_color_FFFFFF_t_70 2]: /images/20221124/e30f671d5d424dd381f4d6897c615c43.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hpX2FsYW4_size_16_color_FFFFFF_t_70 3]: /images/20221124/21a45170ca7946738f444c297ab66112.png