表格导入之前的校验功能：如何提高唯一性校验的效率

我不是女神ヾ 2022-01-31 14:07 323阅读 0赞

这个问题都是需求和测试把我逼到这条路上的

前提：

有一张表，表里包括但不限于字段     “产品业务单号”      “区域”

在导入之前需要进行唯一性校验

第一次需求：以“产品业务单号”为唯一校验标识，第一次没有做任何的优化，万幸上线之后，没有大数据量的导入，不然肯定GG了

（缺点：数据表中有81W条数据，当大数据量导入进行校验时，一条一条的去校验，假如导入1000条数据，那么就会以每条数据的“产品业务单号”为条件去查询数据库，需要查询1000次，虽然没试过，但我也不敢试，指不定就完蛋了呢）

第二次需求：是我自己提出来的，将之前的   “产品业务单号”   为唯一校验标识  改为   “产品业务单号”+“区域” 作为唯一校验标识，然后开动，区域分为三层----（省份、地市、区县），很愉悦的就完成了，因为一般到区县级也就3000+数据而已

（方案：根据excel表格中    “区域”  查询出来数据库中该  “区域” 内的所有产品业务单号  先保存在内存中，然后再用excel中的“产品业务单号”   进行校验，这样因为限定区域内数据少，所以查询也快，校验也快）

第三次需求：由于地市用户有可能会修改区县，比如产品业务单号“AAAAAA”所属区县为福建省厦门市集美区，现在厦门市用户（地市级别用户）想要把“AAAAAA”改到福建省厦门市思明区，这样的话就需要从厦门市级别去查询所有产品业务单号，然后保存在内存中，之前不能修改区县，我只需要在集美区查询产品业务单号保存在内存中（3000+数据，不多），现在是整个厦门市的（10000+），由于Spring JDBC查询出来需要去封装，10000+数据需要30s才能查询出来封装到Map中，导致校验巨慢；

解决办法：采用多线程，多次查询数据库，把10000+数据多次查询出来保存在内存中，效率提升5倍，原本30s现在6s

第四次需求：针对于第三次得到改造，总感觉还有更好的解决方法，就去请教老鸟，对他提出的建议半信半疑，但也得试一试

老鸟的建议：将excel表格中的产品业务单号全部拿出来(list)，拼成sql（select 产品业务单号  from  表  where 产品业务单号  in(list)）,这样去查询，效率会提升很多

我的操作：在他的建议之上，加上了多线程，即1000条数据做一个in查询操作，这样也可以提高效率，

in查询出来之后，肯定会查出来数据库中与in条件重合的，即为存在的数据（EXIST），遍历之前的list，可以得到不存在的数据(NOEXIST);这样就可以校验唯一性了

上一些截图吧

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jva2U3MjY1_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jva2U3MjY1_size_16_color_FFFFFF_t_70 1][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jva2U3MjY1_size_16_color_FFFFFF_t_70]: /images/20220131/6ebd565a7a464dde98137845ed7d90e3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jva2U3MjY1_size_16_color_FFFFFF_t_70 1]: /images/20220131/bfdb7ddd26464dbb972ffb75c52af357.png