SpringBoot 应用轻松实现百万数据重清算

Bertha 。 2022-04-10 13:23 353阅读 0赞

# 前言： #

之前有些历史数据统计复杂，没有想好计算规则，就先把数据json串存到库里。现在需要对json进行计算，求和，取最大等，这些可以用java8里面的stream进行计算，然后单独存到一个表里面。历史表里大概300万条数据，一次5000条数据循环计算。大概20多分钟可以解决这些数据。

需要注意的是Mybatis虽然对sql的长度不做限制（我需要批量插入），但是mysql会对SQL的长度进行限制。mysql的配置文件里面对数据包大小默认限制是1M，如果批量插入很多的话，需要改一下max\_allowed\_packet = 6M 这个参数。

思路想好了，为了快速开发计算的程序，我用springboot应用进行开发。下面是代码，去掉核心业务代码。

# 代码： #

目录结构：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5MDQzODM_size_16_color_FFFFFF_t_70][]

1.runner

@Component
    @Slf4j
    public class TransferApplicationRunner implements ApplicationRunner {
    @Autowired
        TransferService transferService;
    
        @Override
        public void run(ApplicationArguments args) throws Exception {
            
            Long firstBegin = System.currentTimeMillis();
            transferService.computeSjDiPaymentHistory();
            Long firstEnd = System.currentTimeMillis();
            log.info("computeSjDiPaymentHistory执行时间：{}分钟", (firstEnd - firstBegin) / 1000 / 60);
    
    
    
        }
    
    }

2.TransferServiceImpl

@Slf4j
    @Service
    public class TransferServiceImpl implements TransferService {
        @Autowired
        StartKey startKey;
    
        @Autowired
        TemSjDiPaymentHistoryDao temSjDiPaymentHistoryDao;
        @Autowired
        SjDiPaymentHistorySummaryDao sjDiPaymentHistorySummaryDao;
    
    
        @Override
        public void computeSjDiPaymentHistory(){
            long id = startKey.getSjStartKey();
            long i = 1;
    
            while (true) {
                log.info("第{}次循环，从tem_sj_di_payment_history主键{}开始迁移", i, id + 1);
    
                //获取历史表的数据5000条
                List<TemSjDiPaymentHistory> historyList=temSjDiPaymentHistoryDao.getHistoryById(id);
                //如果历史表为空，跳出循环
                if (CollectionUtils.isEmpty(historyList)) {
                    break;
                }
    
                List<SjDiPaymentHistorySummary> summaryList=new ArrayList<>();
                //循环历史表的记录，进行计算，拼成summarylist
                for (TemSjDiPaymentHistory item:historyList){
                    //这里执行计算逻辑
                    summaryList.add(parseRecords(item));
                }
                //批量插入汇总表
                sjDiPaymentHistorySummaryDao.batchInsertSummary(summaryList);
    
                //设置id的值
                id=historyList.get(historyList.size()-1).getId();
                log.info("第{}次循环，已迁移到tem_sj_di_payment_history主键{}", i, id);
    
                if (historyList.size() < 5000) {
                    log.info("计算完成------最后一个id是：{}", id);
                    break;
                }
                i++;
    
            }
    
        }

3.动态SQL

从历史表中拿数据：

@Mapper
    public interface TemSjDiPaymentHistoryDao {
    
        @Select("SELECT id,apply_id,query,success,message,records,create_time,update_time FROM tem_sj_di_payment_history where id>#{id} limit 5000")
        List<TemSjDiPaymentHistory> getHistoryById(long id);
    }

将数据批量插入到新表：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5MDQzODM_size_16_color_FFFFFF_t_70 1][]

# 总结： #

1.mysql对语句长度有限制，Mybatis对动态语句是没有限制的

2.SqlServer对SQL的参数和语句长度是有限制的

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5MDQzODM_size_16_color_FFFFFF_t_70]: /images/20220330/f3eecf6816f14804a769de944f1122a3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5MDQzODM_size_16_color_FFFFFF_t_70 1]: /images/20220330/b3dcbfe61aa34cbcb8cfb8ec298cdcfe.png