springboot与flyway集成做数据迁移

绝地灬酷狼 2023-06-12 08:51 78阅读 0赞

flyway是一种用来做数据迁移的框架，如果你的项目不是jpa+hibenate，比如使用的mybatis，那么你需要在实体创建之前，在数据库中生成表结构，然后逆向工程，生成实体，或者自己编码写实体类，部署的时候，需要将测试环境的表结构和部分数据导出为sql文件，部署到生产环境中，全程操作数据库都是人为操作。后续实体发生改变，字段增减，还需要单独运行一个增量的脚本，或者全量更新，这还需要人为操作。容易造成疏漏。

但是flyway框架提供了一种版本控制的迁移策略，可以对sql进行自动的增量提交，而且减少了人为操作这一步。当我们和springboot结合的时候，他可以在项目启动的时候，进行版本检查，如果有新增或者修改，他会自动将新增或者修改的部分更新到数据库中。如果我们第一次运行，而且数据库中没有任何数据，那么可以不用担心基线版本的问题，如果第一次运行，数据库中有表结构和数据，需要考虑将数据库中的数据做一次基线版本设置。后续的所有操作都在此基础上做变更。

下面来介绍flyway的简单使用，我们可以单独使用flyway，在maven工程中，简单配置一下，就可以做一些简单的demo了。

先构建一个基础的maven工程，加入org.flywaydb:flyway-core依赖以及mysql-connector-java依赖，在build节点配置flyway-maven-plugin，并设置连接mysql的url,user,password信息，如下所示：

<parent>
    	<groupId>org.springframework.boot</groupId>
    	<artifactId>spring-boot-starter-parent</artifactId>
    	<version>2.1.4.RELEASE</version>
    </parent>
    
    <dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>org.flywaydb</groupId>
      <artifactId>flyway-core</artifactId>
    </dependency>
    <dependency>
      <groupId>mysql</groupId>
      <artifactId>mysql-connector-java</artifactId>
    </dependency>
    </dependencies>
    
    <build>
     <plugins>
    	  <plugin>
    		   <groupId>org.flywaydb</groupId>
    		   <artifactId>flyway-maven-plugin</artifactId>
    		   <configuration>
    			   <url>jdbc:mysql:///flywaydemo?useSSL=false&
                        useUnicode=true&characterEncoding=UTF-8&
                        serverTimezone=Asia/Shanghai</url>
    			   <user>root</user>
    			   <password>root</password>
    		   </configuration>
    	  </plugin>
     </plugins>
    </build>

在mysql数据库中，准备一个空的数据库flywaydemo，用以做本次实验：

![20191111230503988.png][]

我们在resources目录下新建一个两级目录db/migration用来保存需要执行的sql，可以是建表语句，也可以是插入记录，或者删除表，修改表都行，这里新建sql文件需要一定的技巧，我们一般创建的是版本相关的sql文件，还可以创建重复执行的sql文件，版本相关的文件是以V开头，然后跟一个数字表示版本号，后面可以跟描述，比如V1\_\_Create\_Table\_User.sql。 如下所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70][]

V1\_\_Create\_Table\_User.sql内容(V1与Create之间是两个下划线\_\_)：

create table xx_user(
    	id int primary key auto_increment,
    	name varchar(20),
    	age int,
    	mobile varchar(11),
    	email varchar(20)
    );

准备工作做好了，我们可以在命令行下进入项目目录，执行mvn flyway:info，得到如下结果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 1][]

flyway插件，检查到db/migration目录下有新的sql，需要执行，状态为Pending，这时候我们需要进行数据迁移操作，执行mvn flyway:migrate：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 2][]

迁移构建成功，从打印信息来看，第一次在数据库中建了了一张flyway\_schema\_history的表，这是用来做版本控制的，另外就是我们在V1\_Create\_Table\_User.sql中定义的表了。我们再切换到mysql命令行下，查看我们的数据库表，会发现多了两张表：

我们再增加一个sql文件，名称为V2\_\_Insert\_Data\_To\_User.sql，内容如下所示：

insert into xx_user (name,age,mobile,email) values ('aaa',18,'13720099442','aaa@sina.com');
    insert into xx_user (name,age,mobile,email) values ('bbb',19,'13720099443','bbb@sina.com');
    insert into xx_user (name,age,mobile,email) values ('ccc',20,'13720099444','ccc@sina.com');

再次执行mvn flyway:info，我们会看到上次的sql状态是Success，而最新的这个sql状态是Pending：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 3][]

执行数据迁移：mvn flyway:migrate

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 4][]

从打印信息看，执行结果中，语句只是执行了第二个文件即V2\_\_Insert\_Data\_To\_User.sql的内容，因为检查发现了两个迁移文件，但是当前迁移版本是1，执行迁移，将版本修改为2，执行第二个迁移任务，不会再执行第一个任务，保证了数据库的增量修改和提交，达到了我们前面提到的要求，即对数据库表结构和数据进行增量修改，而不是每次都全量修改。

查看执行结果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 5][]

检查表数据：

![20191111232641912.png][]

以上的所有操作都是在一个普通的maven项目中执行的，但是没有和实际的springboot挂钩，执行迁移，还需要手工操作，现在我们和springboot集成，做到当springboot项目启动的时候，自动执行迁移，无需我们手动来执行mvn flyway:migrate这一步操作，尽量减少人为干预。

和springboot集成，至少需要加入spring-boot-starter-web,spring-boot-starter-jdbc两个依赖：

<dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-jdbc</artifactId>
    </dependency>

配置数据源相关：

spring:
      datasource:
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql:///flywaydemo?useUnicode=true&useSSL=false&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai
        username: root
        password: root
      flyway:
        enabled: true
        baseline-on-migrate: true
        validate-on-migrate: true

resources/db/migration下增加一个新的sql文件:V3\_\_Create\_Table\_Role.sql，内容如下：

create table xx_role(
    	id int primary key auto_increment,
    	name varchar(20)
    );

执行springboot主函数，控制台打印信息如下：    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 6][]

因为之前执行过两个sql，这里就没有重复执行V1,V2，而是选择执行V3\_\_Create\_Table\_Role.sql。

查看迁移结果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 7][]

查看数据表：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 8][]

至此，flyway结合springboot就介绍完了，综合来看，flyway数据迁移使在mybatis的项目中，还是很适合的。可以做到增量部署，还可以不用手动执行sql。

[20191111230503988.png]: https://img-blog.csdnimg.cn/20191111230503988.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191111231021418.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191111231222495.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191111231422658.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20191111232303339.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20191111232513859.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20191111232540309.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk=,size_16,color_FFFFFF,t_70
[20191111232641912.png]: https://img-blog.csdnimg.cn/20191111232641912.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20191112010028624.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20191112011008562.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/2019111201102920.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaW5pZmk=,size_16,color_FFFFFF,t_70