【单元测试】基于springboot test + jooq + flyway + h2的DAO层测试

绝地灬酷狼 2021-11-01 12:10 571阅读 0赞

### 文章目录 ###

*  意义
 *  集成
 *   *  springboot test
     *  pom
     *  flyway
     *  datasource/jooq/flyway配置
     *  第一个测试
     *  问题列表

# 意义 #

如果dao层没有分支和特殊逻辑，测试dao层并不麻烦，一个方法写一个单元测试即可，麻烦的是数据准备。  
基于jooq的dao层几乎都是sql语句，所以测试dao层就是测试sql语句。  
暂不讨论if else分支写在dao层是否存在、是否合理，dao层测试有如下意义：

*  dao层测试可以将一些低级的语法错误、字段映射错误、类型映射错误等低级问题及时发现；
 *  当修改了数据库的字段或dao层的sql语句，也能尽早发现sql语句中可能存在的问题；
 *  h2内存数据库可以剔除单元测试对数据库环境的依赖，同时杜绝对测试数据库的污染；
 *  提升代码覆盖率。

# 集成 #

springboot 1.x 和 springboot 2.x中默认的flyway版本是有差别的，不同版本对h2内存数据库的支持也不一样，在集成过程中可能会出现大量关于flyway相关的错误，到时候会记录相应错误，并提供解决方案。

这里只记录springboot 1.5.21和springboot 2.1.3。

## springboot test ##

首先准备一下springboot test配置：

在test文件夹下面创建resources文件夹，并mark as test resources root，在test/resources文件夹创建application.properties，示例如下：

server.port=8080
    eureka.client.serviceUrl.defaultZone=http://localhost:8761/eureka/
    
    # 关闭 flyway
    flyway.enabled=false

## pom ##

添加flyway和h2相关依赖

<dependency>
        <groupId>org.flywaydb</groupId>
        <artifactId>flyway-core</artifactId>
    </dependency>
     
    <dependency>
        <groupId>com.h2database</groupId>
        <artifactId>h2</artifactId>
        <scope>test</scope>
    </dependency>

## flyway ##

flyway数据可以直接使用真实的flyway脚本，但是由于大部分项目都不是一开始就是用了flyway，所以会有很多表没有创建脚本，因此这里全部使用伪造的flyway记录，方便测试。

关于为什么不能在表名前加schema名称：schema会被h2默认转换成大写，即使已经在url中设置了`DATABASE_TO_UPPER=false`，而jooq渲染sql的时候是默认添加了小写的schema名称，这会导致执行任何jooq测试都会报找不到schema，于是干脆不使用schema名称，这就导致多个数据库支持有风险：如果多个schema中有相同的表名，那么会出现混乱，但在多个schema中没有相同表名的情况下，不存在多schema支持风险；也可以修改jooq配置，让渲染的sql使用大写的schema名称，但暂未找到相关配置。

在test文件夹中准备flyway数据：

1.  修改application.properties，只保留一个flyway配置——flyway.enabled=false，没错关闭flyway！
2.  在resources文件夹中新建package：db.migration，在db.migration包中创建sql文件：V1\_1\_1\_\_create\_tables.sql，在这个sql中定义相关建表语句，sql命名规范和平常一样，版本可以随心所欲，不重复就行，这里假设只有users一张表，注意不要在表名前加schema名称(`users` ✔ | `dbname`.`users` ✘)：
    
        DROP TABLE IF EXISTS `users`;
        CREATE TABLE `users` (
          `ID` varchar(36) NOT NULL PRIMARY KEY,
          `USERNAME` varchar(100) DEFAULT NULL COMMENT '用户名'
        );
3.  在db.migration包中创建sql文件：V1\_1\_2\_\_data\_for\_test.sql，这个sql用于数据初始化，比如不是本服务入库的数据或者类似全局配置字典表的数据，本服务只负责读取这些数据，注意不要在表名前加schema名称(`users` ✔ | `dbname`.`users` ✘)：
    
        INSERT INTO `users` (`ID`, `USERNAME`) VALUES ("id", "name");

## datasource/jooq/flyway配置 ##

在test文件夹下测试源代码包中创建配置：`MockTestProfileConfig`，手动配置Datasource和FlyWay：  
低版本flyway：

package github.clyoudu.dbaas;
     
    import lombok.extern.slf4j.Slf4j;
    import org.flywaydb.core.Flyway;
    import org.springframework.context.annotation.Bean;
    import org.springframework.context.annotation.Configuration;
    import org.springframework.jdbc.datasource.DriverManagerDataSource;
     
    import javax.sql.DataSource;
     
    @Configuration
    @Slf4j
    public class MockTestProfileConfig { 
     
        @Bean
        public DataSource dataSource() { 
            DriverManagerDataSource dataSource = new DriverManagerDataSource();
            dataSource.setDriverClassName("org.h2.Driver");
            dataSource.setUrl("jdbc:h2:mem:public;MODE=MYSQL;DATABASE_TO_UPPER=false;DB_CLOSE_DELAY=-1");
            dataSource.setUsername("sa");
            dataSource.setPassword("sa");
     
            log.info("try to install test database....");
            Flyway flyway = new Flyway();
            flyway.setDataSource(dataSource);
            flyway.setLocations("filesystem:src/test/resources/db/migration");
            flyway.migrate();
            log.info("install test database successfully!");
     
            return dataSource;
        }
     
    }

高版本flyway（可也用低版本flyway中初始化flyway的方式，但低版本的方法在高本版中已经是Deprecated）：

package github.clyoudu.dbaas;
     
    import lombok.extern.slf4j.Slf4j;
    import org.flywaydb.core.Flyway;
    import org.flywaydb.core.api.configuration.FluentConfiguration;
    import org.springframework.context.annotation.Bean;
    import org.springframework.context.annotation.Configuration;
    import org.springframework.jdbc.datasource.DriverManagerDataSource;
     
    import javax.sql.DataSource;
     
     
    @Configuration
    @Slf4j
    public class MockTestProfileConfig { 
     
        @Bean
        public DataSource dataSource() { 
            DriverManagerDataSource dataSource = new DriverManagerDataSource();
            dataSource.setDriverClassName("org.h2.Driver");
            dataSource.setUrl("jdbc:h2:mem:public;MODE=MYSQL;DATABASE_TO_UPPER=false;DB_CLOSE_DELAY=-1");
            dataSource.setUsername("sa");
            dataSource.setPassword("sa");
     
            log.info("try to install test database....");
            FluentConfiguration configuration = new FluentConfiguration().dataSource(dataSource).locations("filesystem:src/test/resources/db/migration");
            Flyway flyway = new Flyway(configuration);
            flyway.migrate();
            log.info("install test database successfully!");
     
            return dataSource;
        }
     
    }

修改jooq baseDao，渲染sql时不渲染schema名称：

package github.clyoudu.repository.dao;
     
     
    import github.clyoudu.common.listener.JooqLogListener;
    import github.clyoudu.repository.jooq.dbaas.Tables;
    import org.jooq.*;
    import org.jooq.conf.Settings;
    import org.jooq.impl.DSL;
    import org.jooq.impl.DataSourceConnectionProvider;
    import org.jooq.impl.DefaultConfiguration;
    import org.springframework.beans.factory.annotation.Autowired;
    import org.springframework.jdbc.datasource.TransactionAwareDataSourceProxy;
    import org.springframework.stereotype.Repository;
     
    import javax.annotation.PostConstruct;
    import javax.sql.DataSource;
    import java.sql.Connection;
    import java.sql.SQLException;
     
    @Repository
    public abstract class DbaasDao extends Tables { 
        private DataSource dataSource;
        DSLContext create;
     
        @Autowired
        public void setDataSource(DataSource dataSource) { 
            this.dataSource = dataSource;
        }
     
        @PostConstruct
        private void init() throws SQLException { 
            TransactionAwareDataSourceProxy proxy = new TransactionAwareDataSourceProxy(dataSource);
            Configuration configuration = new DefaultConfiguration();//这里单独声明configuration
            configuration.set(new DataSourceConnectionProvider(proxy)).set(getType(configuration)).set(new JooqLogListener());
     
            create = DSL.using(configuration);
        }
     
        /** * 这里发现datasource是h2就不渲染schema名称 */
        private SQLDialect getType(Configuration configuration) throws SQLException { 
            SQLDialect sqlType = SQLDialect.MYSQL;
            try (Connection conn = dataSource.getConnection()) { 
                String type = conn.getMetaData().getDriverName();
                if (type.startsWith("H2")) { 
                    sqlType = SQLDialect.H2;
                    configuration.set(new Settings().withRenderSchema(false));//h2数据库不渲染schema名称
                }
            }
            return sqlType;
        }
    }

## 第一个测试 ##

package github.clyoudu.repository.dao;
     
    import github.clyoudu.repository.jooq.dbaas.tables.records.UsersRecord;
    import org.junit.Assert;
    import org.junit.Test;
    import org.junit.runner.RunWith;
    import org.springframework.beans.factory.annotation.Autowired;
    import org.springframework.boot.test.context.SpringBootTest;
    import org.springframework.test.context.junit4.SpringRunner;
     
    /** * Create by IntelliJ IDEA * * @author chenlei * @dateTime 2019/8/6 16:19 * @description UsersDaoTest */
    @SpringBootTest
    @RunWith(SpringRunner.class)
    public class UsersDaoTest { 
     
        @Autowired
        private UserDao userDao;
     
        @Test
        public void test() { 
           UsersRecord record = userDao.getUser("id");
            Assert.assertEquals("name", record.getUsername());
        }
     
    }

## 问题列表 ##

<table> 
 <thead> 
  <tr> 
   <th align="left">springboot 版本</th> 
   <th align="left">flyway 版本</th> 
   <th align="left">h2 版本</th> 
   <th align="left">jooq 版本</th> 
   <th align="left">问题</th> 
   <th align="left">原因</th> 
   <th align="left">解决方案</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">1.5.21.RELEASE</td> 
   <td align="left">3.2.1(default)</td> 
   <td align="left">1.4.199(default)</td> 
   <td align="left">3.9.6(default)</td> 
   <td align="left">Caused by: org.flywaydb.core.api.FlywayException: Unable to check whether schema “PUBLIC” exists</td> 
   <td align="left">因为1.5.21.RELEASE中flyway版本为3.2.1，不会主动创建不存在的schema，而h2内存数据库的默认schema名称是PUBLIC，h2内存数据库也不会主动创建schema</td> 
   <td align="left">提升flyway版本至5.2.4</td> 
  </tr> 
  <tr> 
   <td align="left">1.5.21.RELEASE</td> 
   <td align="left">5.2.4</td> 
   <td align="left">1.4.199(default)</td> 
   <td align="left">3.9.6(default)</td> 
   <td align="left">Caused by: org.h2.jdbc.JdbcSQLSyntaxErrorException: Table “schemata” not found; SQL statement:<br>SELECT COUNT(*) FROM INFORMATION_SCHEMA.schemata WHERE schema_name=? [42102-199]</td> 
   <td align="left">h2版本过高，暂时不知道如何适配高版本h2数据库</td> 
   <td align="left">降低h2数据库版本至1.4.197</td> 
  </tr> 
  <tr> 
   <td align="left">1.5.21.RELEASE</td> 
   <td align="left">5.2.4</td> 
   <td align="left">1.4.197</td> 
   <td align="left">3.9.6(default)</td> 
   <td align="left">flyway 执行migration报syntax error</td> 
   <td align="left">h2语法和mysql语法不同</td> 
   <td align="left">1.建表语句：主键不能在建表语句末尾才指定，只能在字段末尾指定，主键不能有注释，指定表的engine、charset、comment统统不支持，unique key名称全局不能重复。<br>2.Insert语句：enum列不能为空，即使指定了默认值也不行，但mysql可以在指定了默认值的情况下不指定enum列的值。</td> 
  </tr> 
  <tr> 
   <td align="left">2.1.3.RELEASE</td> 
   <td align="left">5.2.4(default)</td> 
   <td align="left">1.4.197(defalut)</td> 
   <td align="left">3.11.9(default)</td> 
   <td align="left">无</td> 
   <td align="left">无</td> 
   <td align="left">无</td> 
  </tr> 
 </tbody> 
</table>