JDBC-批处理-rewriteBatchedStatements=true，让你的批处理速度增长无数倍，自制一个数据导入工具

冷不防 2022-05-16 02:14 158阅读 0赞

## 前言 ##

今天学习了JDBC预编译的批处理，预编译批处理适用于单个sql语句，不同值的多次处理。

## 关键字段 ##

连接的时候，默认是不会重写你的Batch的，这个时候就要在连接的后面添上。  
`url=jdbc:mysql://localhost:3306/day14_customer?useSSL=true&rewriteBatchedStatements=true` ，这样它就会重写你的批处理了，效果真的是惊人啊！

## 小试牛刀 ##

批量插入简单的100000条数据

@Test
        public void insertDemo() {
            long startTime = System.currentTimeMillis();
            Connection connection = null;
            PreparedStatement statement = null;
            ResultSet resultSet = null;
    
            try {
                connection = JdbcUtils.getConnection();
                String sql = "insert into test(id,name) values(?,?)";
                statement = connection.prepareStatement(sql);
    
                for (int i = 1; i < 100000; i++) {
                    statement.setInt(1, i);
                    statement.setString(2, "" + i);
                    statement.addBatch();
    
                    if (i % 1000 == 0) {
                        statement.executeBatch();
                        statement.clearBatch();
                    }
                }
                statement.executeBatch();
            } catch (Exception e) {
                e.printStackTrace();
            } finally {
                JdbcUtils.release(connection, statement, resultSet);
            }
    
            long endTime = System.currentTimeMillis();
            System.out.println((endTime - startTime) / 1000);
        }

`运行结果`

只要5秒呢= =。  
![这里写图片描述][70]

## 再展身手 ##

我之前知道用text文本导入数据库数据会比较快，今天我发现了更快的方法，还是自制的。目标：100000条记录

1.写好要用的文本txt

@Test
        public void writeText() {
    
            try {
                File file = new File("/home/dream/桌面/111.txt");
                StringBuilder builder = new StringBuilder();
                Random random = new Random();
                PrintWriter writer = new PrintWriter(file);
                for (int i = 0; i < 100000; i++) {
                    for (int j = 0; j < 10; j++) {
                        int in = random.nextInt(10);
                        builder.append(in);
                    }
                    String content = builder.toString();
                    writer.println(content + "," + content + "," + content);
                    builder.delete(0, builder.length());
                }
                writer.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }

`文本长这样`  
![这里写图片描述][70 1]

`长度：`  
![这里写图片描述][70 2]

2.先用navicat 手动导入text文件。结果如下:  
![这里写图片描述][70 3]

用时间38s  
`查看数据库`  
![这里写图片描述][70 4]

3.自己用批处理写一个小工具  
思路：

*  读文件 每一行用一个分隔符分割成String数组，用计数器count记住处理次数
 *  通过数组依次预编译sql语句，就是往里面填数据
 *  批处理：每添加1000条语句，执行一次批，之后清楚批处理语句。为了防止最后未达到1000的尾数，在最后再进行一次execute

@Test
        public void insertDemo2() {
            long startTime = System.currentTimeMillis();
            Connection connection = null;
            PreparedStatement statement = null;
            ResultSet resultSet = null;
    
            try {
                connection = JdbcUtils.getConnection();
                String sql = "insert into test4(conten1, contnet2, content3) values(?,?,?)";
                statement = connection.prepareStatement(sql);
    
                BufferedReader reader = new BufferedReader(new FileReader(new File("/home/dream/桌面/111.txt")));
                String line;
                int count = 0;
                while ((line = reader.readLine()) != null) {
                    String[] oneLine = line.split(",");
                    for (int i = 0; i < oneLine.length; i++) {
                        statement.setString(i+1, oneLine[i]);
                    }
                    statement.addBatch();
    
                    if (count % 1000 == 0) {
                        statement.executeBatch();
                        statement.clearBatch();
                    }
                    count ++;
                }
    
                reader.close();
                statement.executeBatch();
            } catch (Exception e) {
                e.printStackTrace();
            } finally {
                JdbcUtils.release(connection, statement, resultSet);
            }
    
            long endTime = System.currentTimeMillis();
            System.out.println((endTime - startTime) / 1000);
        }

`效果：5秒多`  
![这里写图片描述][70 5]

`数据：`  
![这里写图片描述][70 6]

这速度快了不止几倍呀- -，重写的功能真的强大！，这样只要我们简单的封装一下方法，抽取参数就可以作为工具使用啦～是不是很快呢？十万数据，只要5秒！

## 总结 ##

1.最后的execute执行batch的时候，位置千万不能写错，如果你的数据库写入数据很慢，一般两个问题，你没有加重写字段，或者你的代码写错了。  
2.这是一次批处理的实战，和往常的经验做的比较，速度已经可以了，在我的认知范围内是最好的。我相信应该还有别的更好的  
3.n个insert语句合并，就是多个values拼接字符串不如这个快的。虽然也能提升插入速度。  
4.忽然想起来，如果使用多线程这种并发速度应该可以的把？没试过，感觉5秒已经可以了。也是一种想法把。

以上就是我的这次总结了，如果有更好的，或者更专业的记得留下你的指教呀～

[70]: /images/20220516/9337e43788ef422f9103ebafd9d64058.png
[70 1]: /images/20220516/1a8c914bc4a34cbcb27f6b24b96f23c3.png
[70 2]: /images/20220516/053ed78563f04a20b811457762376d9b.png
[70 3]: /images/20220516/2abf7d58d59046e695a91e3f4b937272.png
[70 4]: /images/20220516/7c9aa5b694a24d5e84ed98e71a8847b4.png
[70 5]: /images/20220516/70f5db33bd754eeb9f196e01e24aabea.png
[70 6]: /images/20220516/5058a31d260d4d45ab1a432fa9d62960.png