Java多线程导致CPU占用100%解决及线程池正确关闭方式

た入场券 2024-03-16 15:18 19阅读 0赞

### 简介 ###

情景：1000万表数据导入内存数据库，按分页大小10000查询，多线程，15条线程跑。  
使用了`ExecutorService executor = Executors.newFixedThreadPool(15)`  
本地跑了一段时间后，发现电脑CPU逐渐升高，最后CPU占用100%卡死，内存使用也高达80%。

### 排查问题 ###

Debug 发现虽然创建了定长15的线程池，但是因为数据量大，在For中循环分页查询的List会持续加入LinkedBlockingQueue()  
队列中每一个等待的任务，又加载了1万的数据。所以不管是线程数的CPU抢占，还是内存的消耗都是极高。  
所以是不是能够控制等待队列LinkedBlockingQueue的上限就可以了。

![3ce6f9d9f5e231c7e369f4e34bfab30f.png][]

### 解决办法 ###

使用AtomicLong 统计线程是否完成，再执行`executor.submit()`提交新的任务导队列中。  
伪代码如下：

private AtomicLong threadNum = new AtomicLong(0);
    
    public void init() throws Exception {
    	ExecutorService executor = Executors.newFixedThreadPool(15);
    
    	Integer total = accountMapper.selectCount(new QueryWrapper<>());
    	Integer pageSize = 10000;  // 页大小
    	Integer pageCount = (total + pageSize -1) / pageSize; // 总页数
    
    	for (Integer start = 1; start <= pageCount; start++) {
    
    		List<Account> list = accountMapper.selectPage(new Page<>(start, pageSize), query).getRecords();
    
    		//等待线程任务完成，设置30，可令运行线程数为15，等待队列线程数为15
    		while (threadNum.get() >= 30){
    			Thread.sleep(5000);
    		}
    
    		//开启1个线程+1
    		threadNum.incrementAndGet();
    	
    		executor.submit(() -> {
    
    			try {
    				// 处理业务
    				dealMessage(list);
    				// 任务完成 -1
    				threadNum.decrementAndGet();
    			} catch (Exception e) {
    				e.printStackTrace();
    			}
    
    		});
    
    	}
            executor.shutdown();
            executor.awaitTermination(1, TimeUnit.DAYS);
    
    }

效果就是CPU保持在15~45%之间，内存占用也只有45%。

[3ce6f9d9f5e231c7e369f4e34bfab30f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6fdbd198a3af4b809a35eddd819f7a5d.png