多线程处理大量数据

╰半橙微兮° 2023-10-07 21:39 22阅读 0赞

使用多线程批量处理数据，可以使用下面的线程类

/**
     * @Auther: hsd
     * @Date: 2022/11/30 09:19
     * @Description: 线程类
     */
    
    import java.util.ArrayList;
    import java.util.List;
    import java.util.concurrent.*;
    
    /**
     * @param <H> 为被处理的数据类型
     * @param <T>返回数据类型
     */
    public abstract class MultiThread<H,T>{
       
        
        private final ExecutorService exec; //线程池
        private final BlockingQueue<Future<T>> queue = new LinkedBlockingQueue<>();
        private final CountDownLatch startLock = new CountDownLatch(1); //启动门，当所有线程就绪时调用countDown
        private final CountDownLatch endLock; //结束门
        private final List<H> listData;//被处理的数据
    
    
        /**
         * @param list list.size()为多少个线程处理，list里面的H为被处理的数据
         */
        public MultiThread(List<H> list){
       
        
            if(list!=null&&list.size()>0){
       
        
                this.listData = list;
                exec = Executors.newFixedThreadPool(Runtime.getRuntime().availableProcessors()); //创建线程池，线程池共有nThread个线程
                endLock = new CountDownLatch(list.size());  //设置结束门计数器，当一个线程结束时调用countDown
            }else{

发表评论取消回复

表情：

评论列表（有 0 条评论，22人围观）

还没有评论，来说两句吧...

相关阅读

相关使用多线程处理大量数据时的挑战：四个案例研究

在多线程处理大量数据时，确实面临一些挑战。以下是我为你准备的四个案例研究，每个案例都将探讨不同的挑战： 1. **数据导入与解析**： - 挑战：当数据量巨大，且格式多

电玩女神/ 2024年12月13日 22:12/ 0 赞/ 4 阅读

相关多线程分段处理集合数据

分段方法： / 集合按长度分组 @param list @param size

客官°小女子只卖身不卖艺/ 2023年10月09日 17:06/ 0 赞/ 18 阅读

相关多线程处理大量数据

使用多线程批量处理数据，可以使用下面的线程类 / @Auther: hsd @Date: 2022/11/30 09:19 @De

╰半橙微兮°/ 2023年10月07日 21:39/ 0 赞/ 23 阅读

相关多线程处理大数据问题

前言这两天公司要求也一个工具，对27类资源进行计算，看这个资源属于哪一个网格。一个资源的数据量大概是1万左右。然后网格的数据大概在5000.也就是说每种资源的每条

绝地灬酷狼/ 2023年07月18日 02:41/ 0 赞/ 25 阅读

相关多线程处理批量数据

//int corePoolSize, - 线程池维护线程的最少数量（core : 核心） //int maximumPoolSize, - 线程池的

绝地灬酷狼/ 2022年12月20日 05:54/ 0 赞/ 192 阅读

相关多线程分段处理批量数据

import lombok.extern.slf4j.Slf4j; import org.springframework.beans.factory.annot

本是古典何须时尚/ 2022年08月31日 02:14/ 0 赞/ 192 阅读

相关 Core Data: 多线程大量数据同步

前言：本文是我几个月前的这篇[《iOS 面试基础题目》][iOS] 其中的一个问题的回答，这几天整理博客，更新内容，自觉有能力回答这个问题了。这篇单独拿出来首先是

你的名字/ 2022年07月29日 10:59/ 0 赞/ 125 阅读

相关多线程读写大量数据到excel

↵起因是这样的，用户要下载对账单明细，也就是交易明细，我们公司的数据库的设计是，一天一张表，类似于trace\_20190708,trace\_20190709 .......

「爱情、让人受尽委屈。」/ 2021年12月20日 13:07/ 0 赞/ 438 阅读

相关使用多线程查询大量数据信息

使用多线程查询大量数据信息 1、创建一个线程池： public class ThreadPoolExecutorFactory {

拼搏现实的明天。/ 2021年10月19日 04:58/ 0 赞/ 476 阅读

相关多线程实现数据批量处理

多线程实现数据批量处理代返回值 Map<String, String> map = new HashMap<>(); ExecutorService exec

﹏ヽ暗。殇╰゛Y/ 2021年09月07日 16:18/ 0 赞/ 626 阅读