自定义数据库连接池

迈不过友情╰ 2021-06-11 15:10 491阅读 0赞

因为最近在研究并发技术，本想使用c3p0的，结果出了很多问题，后来想想人家的东西不一定适合我的项目需求，于是转而自己动手造轮子了。  
这里技术核心在于BlockingQueue的使用。  
本人在i5的机器上使用通过比较创建100个连接池与先初始化后放入BlockingQueue中进行取放100次所消耗的时间相比，量级为1000:1,经检验，通过空间换时间的方式能极大提高程序执行的效率，因为业务需求最大并发量在10W左右，所以我实际设置的池子大小为100.  
我自己模拟了近百万条数据进行测试，数据插入一条不差，而且效率提升很显著。框架的功能太多，未必都能用到，适合自己的就好。

package com.cc.jdbc;
    
    import com.cc.utils.LoggerUtil;
    import org.slf4j.Logger;
    
    import java.io.IOException;
    import java.io.InputStream;
    import java.sql.Connection;
    import java.sql.DriverManager;
    import java.sql.PreparedStatement;
    import java.sql.SQLException;
    import java.util.Properties;
    import java.util.concurrent.BlockingQueue;
    import java.util.concurrent.LinkedBlockingDeque;
    
    /** * Created by cc on 2017/9/21. */
    public class MyConnection { 
    
        //包装真实的Connetion对象
        private Connection connection = null;
    
        public static Logger logger = LoggerUtil.getLogger(MyConnection.class);
        //这里采用的是BlockingQueue阻塞队列作为连接池
        private static BlockingQueue<MyConnection> pool ;
        private static String PASSWORD;
        private static String URL;
        private static String DRIVER;
        private static String USER;
        //数据库连接池的容量
        private static int POOLSIZE;
    
        static {
            Properties prop = new Properties();
            /** * 加载jdbc配置文件 * 资源文件在resource目录下：/conf/jdbc.properties */
            InputStream in = BaseDao.class.getResourceAsStream("/conf/jdbc.properties");
            try {
                prop.load(in);
                URL = prop.getProperty("URL").trim();
                DRIVER = prop.getProperty("DRIVER").trim();
                USER = prop.getProperty("USER").trim();
                PASSWORD = prop.getProperty("PASSWORD").trim();
                POOLSIZE = Integer.valueOf(prop.getProperty("POOLSIZE").trim());
                Class.forName(DRIVER);
                //创建线程池
                pool = new LinkedBlockingDeque<>(POOLSIZE);
            } catch (IOException e) {
                logger.error("jdbc.properties加载失败");
            } catch (ClassNotFoundException e) {
                e.printStackTrace();
            }
        }
    
        public MyConnection() throws SQLException {
                connection = DriverManager.getConnection(URL,USER,PASSWORD);
        }
    
        public MyConnection(Connection conn) {
            connection = conn;
        }
    
        /** * 向线程池添加MyConnection对象 * 返回true代表成功 * @return */
        public boolean addConnection() {
            return pool.offer(this);
        }
    
        /** * 这里的关闭并不是真正意义上的关闭，而是将MyConnection对象返送给连接池中 * offer的用法在于在队列中添加对象，若是队列满了则返回false * 所以这里有个判断，若是为null，则真正关闭connetion * @throws SQLException */
        public void close() throws SQLException {
            if (!pool.offer(this)) {
                connection.close();
            }
        }
    
        /** * 这里是真正意义上关闭数据库连接 * @throws SQLException */
        public void closeConnetion() throws SQLException {
                connection.close();
        }
    
        /** * 从连接池中获取MyConnetion对象 * poll的作用在于若是连接池空了则返回null * 所以下面有个判断若是myConnetion为空则新建连接 * 但是由于数据库有最大连接限制，大并发下显然不能无限创建connection * 所以通过take方法进行阻塞，使得池中返还对象后立即返回 * @return */
        public static MyConnection getConnection() {
            MyConnection myConnection = pool.poll();
            if (myConnection != null) {
                return myConnection;
            } else {
                try {
                    myConnection =new MyConnection();
                } catch (SQLException e) {
                    try {
                        myConnection = pool.take();
                    } catch (InterruptedException e1) {
                        e1.printStackTrace();
                    }
                }
                return myConnection;
            }
        }
    
        /** * 阻塞式的从池中获取MyConnetion，不会新建新的对象 * 这样能保证最大连接数不变 * @return * @throws InterruptedException */
        public static MyConnection takeConnection() throws InterruptedException {
            return pool.take();
        }
    
        //获取PreparedStatement对象
        public PreparedStatement getPreparedStatement(String sql) throws SQLException {
            return connection.prepareStatement(sql);
        }
    
        /** * 这个方法是用来解决mysql数据库8小时超时的问题 * 默认一个Connection超过8小时未被使用就会被mysql挂掉 * 我的解决方案是若出现异常后我会进行捕获然后调用此方法验证是否是由于Connetion失效所致 * 若true，则新建Connection对象 * @param time * @return * @throws SQLException */
        public boolean isValid(int time) throws SQLException {
            return connection.isValid(time);
        }
    }

通过 show variables like ‘%max\_connections%’; 命令可以查看mysql数据库最大连接数，通过修改my.ini文件中max\_connections属性的值，连接数最大可以达到16384。  
![这里写图片描述][SouthEast]

[SouthEast]: /images/20210606/7879cf1ffd5e49bf9146e98ae190268b.png