mybatis-plus 处理大数据量太慢的解决

缺乏、安全感 2022-12-27 08:37 201阅读 0赞

### mybatis-plus 处理大数据量太慢的解决方法 ###

*   *  大批量数据插入方法是Mybatis的foreach拼接SQL

## 大批量数据插入方法是Mybatis的foreach拼接SQL ##

我发现不管改成Mybatis Batch提交或者原生JDBC Batch的方法都不起作用，实际上在插入的时候仍然是一条条记录的插，速度远不如原来Mybatis的foreach拼接SQL的方法。

// 第一步判断更新或添加
    	String[] splitUserId = userGroup.getUserId().split(",");
    	String[] spiltUserName = userGroup.getUserName().split(",");
    	if (StringUtils.isBlank(userGroup.getId())) {
    		userGroup.setNum(spiltUserName.length);
    		userGroupMapper.insert(userGroup);
    	} else {
    		userGroup.setNum(spiltUserName.length);
    		userGroupMapper.updateById(userGroup);
    	}
    	/* 第二部删除中间表信息，字段冗余 */
    
    	Map<String, Object> columnMap = new HashMap<String, Object>();
    	columnMap.put("USER_GROUP_ID", userGroup.getId());
    	groupUsersService.removeByMap(columnMap);
    
    	/* 第三步，批量保存中间表 */
    
    	if (splitUserId.length != 0) {
    		List<GroupUsers> groupUsersList = Lists.newArrayList();
    		for (int i = 0; i < splitUserId.length; i++) {
    			GroupUsers gu = new GroupUsers();
    			gu.setUserId(splitUserId[i]);
    			gu.setUserName(spiltUserName[i]);
    			gu.setUserGroupId(userGroup.getId());
    			groupUsersList.add(gu);
    		}
    		groupUsersService.saveBatch(groupUsersList);
    	}

1.  **就是这样的一种情景也很符合大部分的开发场景，可就是1000条数据的情况下用了8秒** ，这可能与计算机的性能有很大的关系，但就是如此也不至于用八秒钟，那么用户体验会很惨的。
2.  **JDBC连接URL字符串中需要新增一个参数：rewriteBatchedStatements=true** url: jdbc:mysql://192.168.1.143:3306/rt\_xxxxxx\_test?useUnicode=true&characterEncoding=utf-8&rewriteBatchedStatements=true
3.  **MySQL的JDBC连接的url中要加rewriteBatchedStatements参数，并保证5.1.13以上版本的驱动，才能实现高性能的批量插入。**
4.  MySQL JDBC驱动在默认情况下会无视executeBatch()语句，把我们期望批量执行的一组sql语句拆散，一条一条地发给MySQL数据库，批量插入实际上是单条插入，直接造成较低的性能。  
    只有把rewriteBatchedStatements参数置为true, 驱动才会帮你批量执行SQL  
    另外这个选项对INSERT/UPDATE/DELETE都有效