java 大数据比较两个list集合的差值

逃离我推掉我的手 2022-04-10 03:25 384阅读 0赞

有这么个场景，每天需要定时任务插入增量数据。如果通过接口获取的直接根据时间过滤，那么就能直接就可以插入库中。但有时获取到的并不是增量数据，比如微信公众号获取关注者列表时，获取到的是全量数据，这样每天就得将全量数据与库中进行比较，只有库中不存在数据才进行插入。这就有了两个list比较差值的问题。

以前在处理该问题时，会遍历全量中的list，然后判断每个对象是否已在数中存在，如果不存在就放到一个临时List中，最后返回的临时List就是增量数据了，代码如下：

private List<String> getNeedAddOpenidList(List<String> allOpenidList, List<String> dbOpenidList) {
    	    if (dbOpenidList != null && !dbOpenidList.isEmpty()) {
    	    	List<String> resultList = new ArrayList<String>();
    	    	
    	    	if (allOpenidList != null && !allOpenidList.isEmpty()) {
    	    		for (String openid : allOpenidList) {
    		    		if (!dbOpenidList.contains(openid)) {
    		    			resultList.add(openid);
    		    		}
    		    	}
    	    	}
    	    	return resultList;
    	    } else {
    	    	return allOpenidList;
    	    }
        }

但这种在处理几千条数据还好，等上万、或上十万时，执行效率就会很低。即便我后来用list1.removeAll(list2)时，在处理40万条数据时，10分钟根本处理不完。

后来用如下方法，瞬间完成：

private List<String> getNeedAddOpenidList(List<String> allOpenidList, List<String> dbOpenidList) {
    	    if (dbOpenidList != null && !dbOpenidList.isEmpty()) {
    	    	Map<String, String> dataMap = new HashMap<String, String>();
    			for (String id : dbOpenidList) {
    				dataMap.put(id, id);
    			}
    			
    			List<String> newList = new ArrayList<String>();
    			for (String id : allOpenidList) {
    				if (!dataMap.containsKey(id)) {
    					newList.add(id);
    				}
    			}
    			return newList;
    	    } else {
    	    	return allOpenidList;
    	    }
        }

1.将数据库中的list转成一个map集合

2.遍历获取到的全量数据，通过主键或唯一索引之类的字段进行比较

3.如果map.get(key)不存在，放到一个临时List中

4.最后将临时List返回

原因就是底层数据结构来实现的，list虽然有随机访问特性，但如果要查找某值，需要遍历查找。而Map用hashCode去命中，再去链表查找，效率会提升很多。

当然如果只看key，不需要value值存储的话，也可以用HashSet的数据结构，其底层的存储其实也是用HashMap来实现的，只是只用了key而已。