使用POI导入Excel(xls)数据性能速度优化

野性酷女 2023-05-30 06:25 25阅读 0赞

开发中经常使用POI进行数据的导入，固定的Excel模板将数据导入到数据库中，可是经常由于数据量大而导致速度过慢，接口响应过长，影响用户体验，所以适当的优化来提高响应速度是必然的。

## 1. 使用更为可靠的轮子。 ##

当然了，这条说了好像是废话，我的意思是，如果可以，考虑使用阿里的easyexcel来替换掉传统的POI，可以有效的避免内存溢出的问题。如果原有业务代码较为冗余或者不易修改，这条可以忽略。

## 2. 避免频繁的数据库交互。 ##

我们在解析Excel的每行数据的时候，有时候可能会要对Excel的某个单元格数据进行查重，或者某种交互数据库的操作，但是如果Excel行数少的话并没有什么影响，如果多呢，很影响效率，所以如果可以，我们尽可能的不要去频繁的数据库交互，我们可以在解析之前将比对数据查出来集合，在代码逻辑中进行校验，来抛去频繁建立数据库链接的弊端，当然，我们也可以在查询出的List集合时候，将其使用JDK1.8的特性，toMap()转化为Map，比对字段作为Key，使用contants比对，这样就可以使用空间换取时间，也可以大大的提高效率。

### 3. 如果数据量过大，可以考虑使用多线程。 ###

如果数据量过于庞大，串行逻辑根本解决不了问题的时候，可以考虑使用线程池，引入适当的线程来并行解决问题。当然了要考虑服务器压力等，也就是说线程并不是开的越多越好，而且尽量使用线程池来解决问题。当然了，如果可以不适用，尽量不要使用多线程，因为线程确实很宝贵，没有必要开的地方，真的没有必要。

### 4. 插入数据的时候，千万不要单条插入，一定要使用批量插入。 ###

在解析完成Excel单行的时候，往往大多时候，都是直接将这行数据封装成dto然后直接insert到数据库中，当然这样是可以的，而且代码看着很有逻辑性，一条一解析后插入，看似没什么毛病，数据量小的话貌似没什么影响。但是数据量大的话，就很可怕。十分影响效率。所以这时候，我们就需要考虑批量插入来解决问题。

也就是说，当我们在解析完成每行表格的时候，不要急着说插入数据库，我们可以将其封装到一个List集合中，然后再考虑批量插入。也就是说，我们有一个100行的Excel，再解析完成后，存入到集合，这样我们可以得到一个存有100个对象的List集合，然后我们就可以使用批量插入，Mybatis的foreach完全可以，这样就可以批量插入到数据库，大大提高效率。当然有时候你可能会说，我不是单表插入，我可能是多表插入，我需要前一个表的主键id来放入另一个表作为一个字段，这个我么可以使用Mybatis的关键字  useGeneratedKeys 来解决问题，

<insert id="insertBatchIds" useGeneratedKeys="true" keyProperty="id">
        insert into t_user_score(user_id,score,created_at) values
        <foreach collection="list" item="obj" separator=",">
            (#{obj.userId}, #{obj.score}, now())
        </foreach>
    </insert>

这样，当我们批量插入数据以后，id也会自动封装到集合中的每一个对象，提供给我们使用，完美的解决了问题。