基于commons-pool2源码了解连接池实现原理

小鱼儿 2022-05-19 07:13 239阅读 0赞

# 1.背景 #

![ee02d6e2-d063-3598-9b97-7acf2be040e8.png][]       最近查看了下Apache commons-pool2的源代码commons-pool2-2.4.2，代码不多，大概50个java类左右，阅读源代码的初衷是为了通过不断的学习和总结，升华自己的技术能力，写此博客是为了给自己留下一点笔记，日后能够温故知新。

Apache commons-pool2类库是**对象池技术的一种具体实现**，它的出现是为了**解决频繁的创建和销毁对象带来的性能损耗问题**，原理就是建立一个对象池，池中预先生成了一些对象，需要对象的时候进行租借，用完后进行归还，对象不够时灵活的自动创建，对象池满后提供参数控制是否阻塞还是非阻塞响应租借.

熟悉了Apache commons-pool2**对于了解数据库连接池DBCP和了解redis客户端jedis的连接池都有很大帮助，因为jedis的连接池就是基于Apache commons-pool2实现，而DBCP是基于Jakarta commons-pool实现。**

#  2.Apache commons-pool2中3类重要接口 #

*   **PooledObjectFactory/KeyedPooledObjectFactory**：是两个**接口，作用都是产生PooledObject的工厂**，定义了如何makeObject创建、destroyObject销毁、validateObject校验、activateObject激活PooledObject对象，**使用Apache commons-pool2的使用者需要自己实现这个接口**
 *  **PooledObject**：是一个**接口**，定义了getCreateTime获取PooledObject创建时间，getActiveTimeMillis获取PooledObject处于激活状态的时间，getIdleTimeMillis获取PooledObject空闲时间，getLastBorrowTime获取PooledObject最近借出时间，getLastReturnTime获取PooledObject最近归还时间，getLastUsedTime获取PooledObject最近使用时间。**目前Apache commons-pool2提供了2个默认实现DefaultPooledObject和PooledSoftReference，一般使用DefaultPooledObject即可**
 *  **ObjectPool/KeyedObjectPool**：是两个**接口，作用都是管理池里面的PooledObject**，borrowObject借出PooledObject，returnObject归还PooledObject，invalidateObject调用PooledObjectFactory销毁PooledObject，addObject调用PooledObjectFactory创建PooledObject，getNumIdle给出PooledObject空闲个数，getNumActive给出PooledObject激活的个数，**使用Apache commons-pool2的使用者可以使用默认的5个实现(SoftReferenceObjectPool GenericObjectPool ProxiedObjectPool GenericKeyedObjectPool ProxiedKeyedObjectPool)，也可以自己实现**

**      ** 其中**PooledObjectFactory PooledObject ObjectPool**关系和作用如下图：   
![d116e188-48f6-3e1c-99cb-24bcd8d66c6e.jpg][]       其中**KeyedPooledObjectFactory PooledObject KeyedObjectPool**关系和作用如下图：   
![f014e3bb-4a32-31ab-b3e0-285fc9049c89.jpg][]

#  3.PooledObject接口类继承关系OOM图 #

**PooledObject**：是一个接口，定义了getCreateTime获取PooledObject创建时间，getActiveTimeMillis获取PooledObject处于激活状态的时间，getIdleTimeMillis获取PooledObject空闲时间，getLastBorrowTime获取PooledObject最近借出时间，getLastReturnTime获取PooledObject最近归还时间，getLastUsedTime获取PooledObject最近使用时间。**目前Apache commons-pool2提供了2个默认实现DefaultPooledObject和PooledSoftReference，一般使用DefaultPooledObject即可 **

![4b5692e0-037e-3bcc-925f-c114b723d901.jpg][]

#  4.对象池接口ObjectPool和KeyedObjectPool类关系 #

Apache commons-pool2里有针对对象池的5个具体实现类**SoftReferenceObjectPool GenericObjectPool** **ProxiedObjectPool GenericKeyedObjectPool** **ProxiedKeyedObjectPool **，这5个对象池按照实现的接口不同分为2类，一个是实现了接口ObjectPool，另一个是实现了接口KeyedObjectPool

##      4.1 PowerDesigner反向工程ObjectPool的OOM关系图![07b2466f-ca0a-3d71-b7ab-8bbf0b8e97e9.jpg][] ##

*  **GenericObjectPool**:可配置LIFO/FIFO行为的ObjectPool的实现。默认采用LIFO队列方式。这意味着当有闲置的可用对象在对象池中时，borrowObject方法会返回最近的实例。如果配置文件中的LIFO配置项的值为false，则将返回相反排序的实例，也就是会返回最先进入对象池的对象的实例；
 *  **SoftReferenceObjectPool**:使用LIFO行为实现的ObjectPool。此外，在这个对象池实现中，每个对象都会被包装到一个SoftReference中。SoftReference允许垃圾回收机制在需要释放内存时回收对象池中的对象；
 *  **ProxiedObjectPool**:使用CGLIB或者JDK自带动态代理技术，代理由GenericObjectPool或者SoftReferenceObjectPool产生的ObjectPool对象

##      4.2 PowerDesigner反向工程KeyedObjectPool的OOM关系图![32d1b93d-1082-31bb-b628-abda49e7e42e.jpg][] ##

*  **GenericKeyedObjectPool**:可配置LIFO/FIFO行为的ObjectPool的实现。默认采用LIFO队列方式。这意味着当有闲置的可用对象在对象池中时，borrowObject方法会返回最近的实例。如果配置文件中的LIFO配置项的值为false，则将返回相反排序的实例，也就是会返回最先进入对象池的对象的实例；
 *  **ProxiedKeyedObjectPool**:使用CGLIB或者JDK自带动态代理技术，代理由GenericKeyedObjectPool产生的ObjectPool对象

#  5. PooledObjectState类枚举的PooledObject状态及其转换关系 #

<table> 
 <tbody> 
  <tr> 
   <td>状态</td> 
   <td>描述</td> 
  </tr> 
  <tr> 
   <td>IDLE</td> 
   <td>位于队列中，未使用</td> 
  </tr> 
  <tr> 
   <td>ALLOCATED</td> 
   <td>在使用</td> 
  </tr> 
  <tr> 
   <td>EVICTION</td> 
   <td>位于队列中，当前正在测试，可能会被回收</td> 
  </tr> 
  <tr> 
   <td>EVICTION_RETURN_TO_HEAD</td> 
   <td> <p>不在队列中，当前正在测试，可能会被回收。</p> <p>如果客户端试图借出该正在被测试的对象，</p> <p>需等到测试完毕后才能借出并且从队列中移除；</p> <p>待测试完毕后，如果没被回收该对象会放置在队列的开头位置。</p> </td> 
  </tr> 
  <tr> 
   <td>VALIDATION</td> 
   <td>位于队列中，当前正在验证</td> 
  </tr> 
  <tr> 
   <td>VALIDATION_PREALLOCATED</td> 
   <td> <p>不在队列中，当前正在验证。当对象从池中被借出，</p> <p>在配置了testOnBorrow的情况下，对像从队列移除和进行预分配的时候会进行验证</p> </td> 
  </tr> 
  <tr> 
   <td>VALIDATION_RETURN_TO_HEAD</td> 
   <td> <p>不在队列中，正在进行验证。从池中借出对象时，</p> <p>从队列移除对象时会先进行测试。返回到队列头部的时候应该做一次完整的验证</p> </td> 
  </tr> 
  <tr> 
   <td>INVALID</td> 
   <td>回收或验证失败，将销毁</td> 
  </tr> 
  <tr> 
   <td>ABANDONED</td> 
   <td>即将无效</td> 
  </tr> 
  <tr> 
   <td>RETURNING</td> 
   <td>返还到池中</td> 
  </tr> 
 </tbody> 
</table>

![2d9e23e4-5647-3db6-9635-9ba647a316a4.png][]

#  6.GenericObjectPool的BorrowObject和ReturnObject流程分析 #

这里先来一张**GenericObjectPool的组图**，如下：   
![656b10d1-3fce-3f43-a053-22a568ffb156.jpg][]

##      6.1 GenericObjectPool,BorrowObject租借池化对象![55eb58e7-840f-3ade-8b71-05a7afd68a3f.jpg][]     6.2 GenericObjectPool.ReturnObject归还池化对象![79a46c8a-b585-3622-9418-39e0be4add56.jpg][]   ##

#  7.GenericObjectPoolConfig配置属性介绍 #

**GenericObjectPoolConfig是一个配置类，提供了很多参数来控制对象池的相关属性，如果你使用过jedis，对于其JedisPoolConfig可能不陌生**

**\[xml\]** [view plain][] [copy][view plain]

1.  <bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig">  
2.      <property name="maxTotal" value="2048" />  
3.      <property name="maxIdle" value="200" />  
4.      <property name="numTestsPerEvictionRun" value="1024" />  
5.      <property name="timeBetweenEvictionRunsMillis" value="30000" />  
6.      <property name="minEvictableIdleTimeMillis" value="-1" />  
7.      <property name="softMinEvictableIdleTimeMillis" value="10000" />  
8.      <property name="maxWaitMillis" value="1500" />  
9.      <property name="testOnBorrow" value="true" />  
10.     <property name="testWhileIdle" value="true" />  
11.     <property name="testOnReturn" value="false" />  
12.     <property name="jmxEnabled" value="true" />  
13.     <property name="blockWhenExhausted" value="false" />  
14. </bean>

**而JedisPoolConfig其实就是继承自GenericObjectPoolConfig，GenericObjectPoolConfig的相关配置属性列表如下： **

<table> 
 <tbody> 
  <tr> 
   <td>属性</td> 
   <td>类型</td> 
   <td>默认值</td> 
   <td>作用</td> 
  </tr> 
  <tr> 
   <td>maxTotal</td> 
   <td>int</td> 
   <td>8</td> 
   <td>池中最多可用的实例个数</td> 
  </tr> 
  <tr> 
   <td>maxIdle</td> 
   <td>int</td> 
   <td>8</td> 
   <td>池中最多可容纳的实例（instances）个数</td> 
  </tr> 
  <tr> 
   <td>minIdle</td> 
   <td>int</td> 
   <td>0</td> 
   <td>池中最少需要容纳的实例（instances）个数</td> 
  </tr> 
  <tr> 
   <td>lifo</td> 
   <td>boolean</td> 
   <td>TRUE</td> 
   <td>池中实例的操作是否按照LIFO（后进先出）的原则</td> 
  </tr> 
  <tr> 
   <td>fairness</td> 
   <td>boolean</td> 
   <td>FALSE</td> 
   <td>租借池化对象的客户端按照FIFO进行</td> 
  </tr> 
  <tr> 
   <td>maxWaitMillis</td> 
   <td>long</td> 
   <td>-1</td> 
   <td>调用borrowObject方法时，需要等待的最长时间</td> 
  </tr> 
  <tr> 
   <td>minEvictableIdleTimeMillis</td> 
   <td>long</td> 
   <td>1800000</td> 
   <td>池中对象处于空闲状态开始到被回收的最短时间</td> 
  </tr> 
  <tr> 
   <td>softMinEvictableIdleTimeMillis</td> 
   <td>long</td> 
   <td>3</td> 
   <td>池中对象处于空闲状态开始到被回收的最短时间</td> 
  </tr> 
  <tr> 
   <td>numTestsPerEvictionRun</td> 
   <td>int</td> 
   <td>3</td> 
   <td>池中处于空闲状态的对象每次被检测是否回收时<br> 最多只检测3个处于空闲状态的对象,比如该值设置为3,此时池中有5个闲置对象,那么每次只会检查前三个闲置对象</td> 
  </tr> 
  <tr> 
   <td>evictionPolicyClassName</td> 
   <td>String</td> 
   <td>org.apache.commons.pool2.<br> impl.DefaultEvictionPolicy</td> 
   <td>回收策略</td> 
  </tr> 
  <tr> 
   <td>testOnCreate</td> 
   <td>boolean</td> 
   <td>FALSE</td> 
   <td>调用borrowObject方法时，依据此标识判断是否<br> 需要对返回的结果进行校验，如果校验失败会删<br> 除当前实例，并尝试再次获取</td> 
  </tr> 
  <tr> 
   <td>testOnBorrow</td> 
   <td>boolean</td> 
   <td>FALSE</td> 
   <td>调用borrowObject方法时，依据此标识判断是否<br> 需要对返回的结果进行校验，如果校验失败会<br> 删除当前实例，并尝试再次获取</td> 
  </tr> 
  <tr> 
   <td>testOnReturn</td> 
   <td>boolean</td> 
   <td>FALSE</td> 
   <td>调用returnObject方法时，依据此标识判断是否<br> 需要对返回的结果进行校验</td> 
  </tr> 
  <tr> 
   <td>testWhileIdle</td> 
   <td>boolean</td> 
   <td>FALSE</td> 
   <td>闲置实例校验标识，如果校验失败会删除当前实例</td> 
  </tr> 
  <tr> 
   <td>timeBetweenEvictionRunsMillis</td> 
   <td>long</td> 
   <td>-1</td> 
   <td>闲置实例校验器启动的时间间隔，单位是毫秒</td> 
  </tr> 
  <tr> 
   <td>blockWhenExhausted</td> 
   <td>boolean</td> 
   <td>TRUE</td> 
   <td>当池中对象都被借出后，客户端来租借对象，<br> 此时是否进行阻塞还是非阻塞，默认阻塞</td> 
  </tr> 
  <tr> 
   <td>jmxEnabled</td> 
   <td>boolean</td> 
   <td>TRUE</td> 
   <td>开启JMX开关</td> 
  </tr> 
  <tr> 
   <td>jmxNamePrefix</td> 
   <td>String</td> 
   <td>pool</td> 
   <td>JMX前缀</td> 
  </tr> 
  <tr> 
   <td>jmxNameBase</td> 
   <td>String</td> 
   <td>null</td> 
   <td>JMX根名字</td> 
  </tr> 
 </tbody> 
</table>

*  **网友遇到的问题1**：mysql服务端设置了连接8小时失效，但是commons-pool2对应的对象池中没有配置上timeBetweenEvictionRunsMillis minEvictableIdleTimeMillis numTestsPerEvictionRun，导致没有对池化的mysql客户端进行检测，**所以经验是服务器端如果设置了idel>0的空闲时间, 那么客户端最好设置上对应的心跳频率即多久心跳一次；**
 *  **网友遇到的问题2**：redis的服务端设置了timeout=0,由于网络原因，commons-pool2已经将池中redis客户端销毁，但是服务端redis因为配置了timeout=0禁用了关闭限制的redis客户端功能，导致服务端大量僵尸进程存在，**所以经验是配置redis服务端的timeout为一个大于0的值，意思是客户端如果空闲了且空闲时间大于该值，服务端就会关闭该连接**

文章转载自：[https://blog.csdn.net/zilong\_zilong/article/details/78556281][https_blog.csdn.net_zilong_zilong_article_details_78556281]。

[ee02d6e2-d063-3598-9b97-7acf2be040e8.png]: /images/20220519/d59dcece0c4946ab81a95907a00c66fe.png
[d116e188-48f6-3e1c-99cb-24bcd8d66c6e.jpg]: /images/20220519/abef9071412549ce91fb045197018732.png
[f014e3bb-4a32-31ab-b3e0-285fc9049c89.jpg]: /images/20220519/5d278b10353f47e3b011193c912838c2.png
[4b5692e0-037e-3bcc-925f-c114b723d901.jpg]: /images/20220519/1a69f7cef2c24a9da483a7b844d3ae2e.png
[07b2466f-ca0a-3d71-b7ab-8bbf0b8e97e9.jpg]: /images/20220519/7d996a5f26534ef0b1d102ce7a024c35.png
[32d1b93d-1082-31bb-b628-abda49e7e42e.jpg]: /images/20220519/0209938605534cc8a86be7d3527716f6.png
[2d9e23e4-5647-3db6-9635-9ba647a316a4.png]: /images/20220519/53323ecfa6b543bcb4982aa0bf54cc8d.png
[656b10d1-3fce-3f43-a053-22a568ffb156.jpg]: /images/20220519/5e63b533c82140d5b9c56285881ecb99.png
[55eb58e7-840f-3ade-8b71-05a7afd68a3f.jpg]: http://dl2.iteye.com/upload/attachment/0127/8286/55eb58e7-840f-3ade-8b71-05a7afd68a3f.jpg
[79a46c8a-b585-3622-9418-39e0be4add56.jpg]: /images/20220519/8ee225d39f1f41fab6c1a7c357874ea7.png
[view plain]: https://blog.csdn.net/zilong_zilong/article/details/78556281#
[https_blog.csdn.net_zilong_zilong_article_details_78556281]: https://blog.csdn.net/zilong_zilong/article/details/78556281