Hibernate批量插入大量数据速度性能慢的解决方案

浅浅的花香味﹌ 2023-07-16 10:58 34阅读 0赞

### **                            Hibernate批量插入大量数据速度性能慢的解决方案** ###

Hibernate的缓存，Hibernate有内部缓存与二级缓存之说。由于Hibernate对这两种缓存有着不同的管理机制，对于二级缓存，我们可以对它的大小进行相关配置，而对于内部缓存，Hibernate就采取了"放任自流"的态度了，对它的容量并没有限制。

Hibernate先把数据放到内部缓存中再操作，这使得对于大量数据的批量操作性能上很慢。

解决方案：

1：绕过Hibernate API ，直接通过 JDBC API 来做，这个方法性能上是比较好的。也是最快的。

1 Transaction tx=session.beginTransaction(); //注意用的是hibernate事务处理边界

2 Connection conn=session.connection();

3 PreparedStatement stmt=conn.preparedStatement("update CUSTOMER as C set C.sarlary=c.sarlary\+**1** where c.sarlary>**1000**");

4 stmt.excuteUpdate();

5 tx.commit();

2：运用存储过程。（本质是绕过hibernate api）

1 tx = session.beginTransaction();

2 Connection con=session.connection();

3 String procedure = "{call batchUpdateCustomer(？) }";

4 CallableStatement cstmt = con.prepareCall(procedure);

5 cstmt.setInt(1，0); //设置参数

6 cstmt.executeUpdate();

7 tx.commit();

3：还是用Hibernate API 来进行常规的批量处理，可以也有变，变就变在，我们可以在查找出一定的量的时候，及时的将这些数据做完操作就 删掉，session.flush();session.evict(XX对象集); 这样也可以挽救一点性能损失。这个"一定的量"要就要根据实际情况做定量参考了。一般为30-60左右，但效果仍然不理想。

1 tx=session.beginTransaction();

2 for(int i=0;i<100000;i++)

3 {

4   Customer custom=new Customer();

5   custom.setName("user"+i);

6   session.save(custom);// 或者session.flush();session.evict(XX对象集);

7   if(i%50==0) // 以每50个数据作为一个处理单元

8   {

9    session.flush();

10   session.clear();

11   }

12 }

发表评论取消回复

表情：

评论列表（有 0 条评论，34人围观）

还没有评论，来说两句吧...

相关阅读

相关 MySQL性能瓶颈：查询速度慢的解决方案

在MySQL中，查询速度慢的原因可能包括： 1. **数据量大**：如果表中的记录数量过多，那么进行全表扫描的效率就会降低。 2. **索引缺失或不合适**：如果查询涉及到

古城微笑少年丶/ 2024年12月17日 21:03/ 0 赞/ 11 阅读

相关批量插入大量数据的性能瓶颈

批量插入大量数据时，常见的性能瓶颈主要包括以下几个方面： 1. **数据库连接池**：如果应用程序没有正确管理数据库连接，会导致大量的空闲连接或频繁的连接创建，降低性能。

超、凢脫俗/ 2024年12月15日 15:06/ 0 赞/ 13 阅读

相关批量插入数据速度问题？

原文：[https://www.cnblogs.com/tommy-huang/p/4540407.html][https_www.cnblogs.com_tommy-h...

客官°小女子只卖身不卖艺/ 2024年04月18日 08:59/ 0 赞/ 91 阅读

相关 Hibernate批量插入大量数据速度性能慢的解决方案

Hibernate批量插入大量数据速度性能慢的解决方案 Hibernate的缓存，Hibernate有内部缓存与二

浅浅的花香味﹌/ 2023年07月16日 10:58/ 0 赞/ 35 阅读

相关 SQLite 插入大量数据慢的解决方法

sqlite 插入数据很慢的原因：sqlite在没有显式使用事务的时候会为每条insert都使用事务操作，而sqlite数据库是以文件的形式存在磁盘中，就相当于每次访问时都要打

落日映苍穹つ/ 2022年12月27日 12:46/ 0 赞/ 226 阅读

相关解决MySQL JDBC数据批量插入慢的问题

MySQL数据库是当前最常用的数据库之一，因此MySQL的ETL相关问题也比较多，这里我们来讨论一下数据批量操作的优化当前数据批量写入或更新几乎使用的都是JDBC的方式，但

红太狼/ 2022年10月10日 11:12/ 0 赞/ 405 阅读

相关 MyBatisPlus 批量插入速度慢问题解决方案

1、saveBatch批量插入等批量操作耗时特别长，对于上万条数据更是十几秒答：先说解决方案：jdbc URL后追加参数 rewriteBatchedStatem

不念不忘少年蓝@/ 2022年09月14日 11:11/ 0 赞/ 589 阅读

相关 JDBC向mysql批量插入大量数据

想要向mysql中插入大量数据（10w+）时，使用单纯的insert会很慢。我们需要借助JDBC的批处理。 1. jdbc连接url增加rewriteBatchedStat

Love The Way You Lie/ 2022年08月29日 05:44/ 0 赞/ 243 阅读

相关插入大量数据速度慢的解决方法：批量插入

场景：项目需要导入案件2200条。其中导入的excel每个行案件的信息上包含大约15个联系方式。那么总的联系方式一共用30000条左右这里优化之前的速度是16-20

た入场券/ 2022年06月05日 00:56/ 0 赞/ 360 阅读

相关 Hibernate下数据批量处理解决方案

很多人都对Java在批量数据的处理方面是否是其合适的场所持有怀疑的念头，由此延伸，那么就会认为ORM可能也不是特别适合数据的批量处理。其实，我想如果我们应用得当的话，完全可

港控/mmm°/ 2021年11月01日 14:31/ 0 赞/ 326 阅读