MySQL + PostgreSQL批量插入更新insertOrUpdate

短命女 2021-09-08 23:52 670阅读 0赞

## 一、百度百科 ##

### 1、MySQL ###

MySQL声称自己是最流行的开源数据库。LAMP中的M指的就是MySQL。构建在LAMP上的应用都会使用MySQL，如WordPress、Drupal等大多数php开源程序。MySQL最初是由MySQL AB开发的，然后在2008年以10亿美金的价格卖给了Sun公司，Sun公司又在2010年被Oracle收购。Oracle支持MySQL的多个版本：Standard、Enterprise、Classic、Cluster、Embedded与Community。其中有一些是免费下载的，另外一些则是收费的。其核心代码基于GPL许可，由于MySQL被控制在Oracle，社区担心会对MySQL的开源会有影响，所以开发了一些分支，比如： MariaDB和Percona。

### 2、PostgreSQL ###

PostgreSQL标榜自己是世界上最先进的开源数据库。PostgreSQL的一些粉丝说它能与Oracle相媲美，而且没有那么昂贵的价格和傲慢的客服。最初是1985年在加利福尼亚大学伯克利分校开发的，作为Ingres数据库的后继。PostgreSQL是完全由社区驱动的开源项目。它提供了单个完整功能的版本，而不像MySQL那样提供了多个不同的社区版、商业版与企业版。PostgreSQL基于自由的BSD/MIT许可，组织可以使用、复制、修改和重新分发代码，只需要提供一个版权声明即可。

### 3、PostgreSQL相对于MySQL的优势 ###

（1）不仅仅是关系型数据库，还可以存储：

*  array，不管是一位数组还是多为数组均支持
 *  json(hStore)和jsonb，相比使用text存储接送要高效很多

（2）支持地理信息处理扩展

（3）可以快速构建REST API

（4）支持R-trees这样可扩展的索引类型，可以更方便地处理一些特殊数据。MySQL 处理树状的设计会很复杂, 而且需要写很多代码, 而 PostgreSQL 可以高效处理树结构。

（5）更好的外部数据源支持

（6）字符串没有长度限制

等等...

## 二、postgres中insertOrUpdate代码实例 ##

### 1、创建user表 ###

CREATE TABLE public.t_user (
        username varchar(100) NOT NULL,
        age int4 NOT NULL DEFAULT 0,
        "password" varchar(100) NULL,
        deleted int4 NULL,
        created_time timestamp NULL
    );
    CREATE UNIQUE INDEX t_user_union_name_age_password ON public.t_user USING btree (username, password, age);

### 2、简单的方式实现 ###

insert
        into
        public.t_user (username , password,age,created_time)
    values ('zs', '123', 18,now()), ('ls', '123456', 19,now()),('ww', '123', 20,now()) 
    on conflict (username, age,password) do update set username = excluded.username,age = excluded.age,password = excluded.password,created_time = excluded.created_time

###  3、利用unnest函数实现 ###

insert
        into
        public.t_user (username , password,age,created_time)
    values (unnest(array['zs', 'ls', 'ww']), unnest(array['123', '123', '123456']),unnest(array[18, 19, 20]), unnest(array[now(), now(), now()])) 
    on conflict (username, age,password) do update set username = excluded.username,age = excluded.age,password = excluded.password,created_time = excluded.created_time

### 4、如果数据已存在，就就什么也不做 ###

## 三、相关重点函数简介 ##

### 1、unnest(anyarray) ###

unnest函数将输入的数组转换成一个表，这个表的每一列都代表相应的一个数组中的元素。  
如果unnest与其他字段一起出现在select中，就相当于其他字段进行了一次join。

主要用于完成行转列的场景。

select '张三' as name, unnest(Array['语文','数学','英语']) as course;
     name | course
    ------+--------
     张三 | 语文
     张三 | 数学
     张三 | 英语
    (3 rows)

**`INSERT ON CONFLICT`**实现PostgreSQL插入更新特性。

**EXCLUDED**虚拟表，其包含我们要更新的记录

## 四、userMapper.xml写法 ##

<?xml version="1.0" encoding="UTF-8" ?>
    <!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd" >
    <mapper namespace="com.guor.dao.UserMapper">
    
        
        <insert id="batchInsert" parameterType="java.util.HashMap">
             <include refid="batchInsertSql"></include>
        </insert>
    
        <sql id="batchInsertSql">
            INSERT INTO ${map.tableInfo.schemaName}.${map.tableInfo.tableName}
            (
            "table_id",
            "file_name",
            "create_time",
            <foreach collection="map.list.get(0)" index="key" item="value"
                     separator=",">
                "${key}"
            </foreach>
            )
            VALUES
            <foreach collection="map.list" item="list" separator=",">
                (
                ${map.tableInfo.tableId},
                #{map.tableInfo.fileName},
                now(),
                <foreach collection="list" index="key" item="value"
                         separator=",">
                    <choose>
                        <when test="map.varcharList.contains(key)">
                            #{value}
                        </when>
                        <when test="map.dateList.contains(key)">
                            TO_TIMESTAMP(#{value},'yyyy-MM-dd hh24:mi:ss')
                        </when>
                        <otherwise>
                            ${value}
                        </otherwise>
                    </choose>
                </foreach>
                )
            </foreach>
        </sql>
    
        
        <insert id="batchInsertOrUpdate" parameterType="java.util.HashMap">
            <include refid="batchInsertSql"></include>
            on conflict (
            file_name, table_id
            <if test="map.tableInfo.flag">
                , "id_number"
            </if>
            ) do update
            set
            "table_id" = excluded."table_id",
            "file_name" = excluded."file_name",
            "create_time" = excluded."create_time",
            <foreach collection="map.list.get(0)" index="key" separator=",">
                "${key}" = excluded."${key}"
            </foreach>
        </insert>
    </mapper>

## 五、MySQL中insertOrUpdate代码实例 ##

### 1、建表语句 ###

CREATE TABLE `t_user`  (
      `username` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,
      `password` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,
      `age` int(0) NULL DEFAULT NULL,
      `address` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
      `create_time` datetime(0) NULL DEFAULT NULL,
      `update_time` datetime(0) NULL DEFAULT NULL,
      `version` int(0) NOT NULL,
      UNIQUE INDEX `user_union_index`(`username`, `password`, `age`) USING BTREE
    ) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

### 2、普通方式 ###

INSERT INTO t_user
    (username,password,age,create_time) 
    VALUES('张三' ,'123456',18,NOW())
    ON DUPLICATE KEY UPDATE 
    username='张三',
    password='123456',
    create_time=now()

### 3、ON DUPLICATE KEY UPDATE  ###

insert into on duplicate key update`表示插入更新数据，当记录中有`PrimaryKey`，或者`unique`索引的话，`如果数据库已经存在数据，则用新数据更新（update），如果没有数据效果则和insert into一样。

INSERT INTO t_user 
    (username,password,age,create_time,update_time,version)
    VALUES( 'zs' ,'123',10,now(),now(),1) 
    ,( 'ls' ,'123456',20,now(),now(),1) 
    ,( 'ww' ,'123',30,now(),now(),1) 
    ON DUPLICATE KEY UPDATE 
    username= VALUES(username)
    ,password=VALUES(password)
    ,age=VALUES(age)
    ,update_time=VALUES(update_time)
    ,version = version + 1

### 4、REPLACE INTO ###

replace into表示插入替换数据，当记录中有PrimaryKey，或者unique索引的话，如果数据库已经存在数据，则用新数据替换（先delete再insert），如果没有数据效果则和insert into一样。

REPLACE INTO t_user 
    (username,password,age,create_time,update_time,version) 
    VALUES 
    ( 'zs' ,'123',10,now(),now(),1)

### 5、INSERT IGNORE INTO ###

insert ignore into表示尽可能的忽略冲突，暴力插入。

INSERT IGNORE INTO t_user 
    (username,password,age,create_time,update_time,version) 
    VALUES 
    ( 'zs' ,'123',10,now(),now(),1) ,
    ( '哪吒' ,'123',30,now(),now(),2)

### 6、小结 ###

insert into values 或 insert into select批量插入时，都满足事务的原子性与一致性，但要注意insert into select的加锁问题。  
replace into与insert into on duplicate key update都可以实现批量的插入更新，具体是更新还是插入取决与记录中的pk或uk数据在表中是否存在。如果存在，前者是先delete后insert，后者是update。  
insert ignore into会忽略很多数据上的冲突与约束，平时很少使用。

往期精彩内容：

[Java知识体系总结][Java]

[Spring框架总结][Spring]

[超详细的springBoot学习笔记][springBoot]

[常见数据结构与算法整理总结][Link 1]

[Java设计模式：23种设计模式全面解析][Java_23]

[Java面试题总结（附答案）][Java 1]

[MySql知识体系总结][MySql]

[Linux知识体系总结][Linux]

[Redis知识体系总结][Redis]

[Java]: https://blog.csdn.net/guorui_java/article/details/112391105
[Spring]: https://blog.csdn.net/guorui_java/article/details/104018528
[springBoot]: https://blog.csdn.net/guorui_java/article/details/104137262
[Link 1]: https://blog.csdn.net/guorui_java/article/details/106217472
[Java_23]: https://blog.csdn.net/guorui_java/article/details/104026988
[Java 1]: https://blog.csdn.net/guorui_java/article/details/107803283
[MySql]: https://blog.csdn.net/guorui_java/article/details/118558095
[Linux]: https://blog.csdn.net/guorui_java/article/details/117430091
[Redis]: https://blog.csdn.net/guorui_java/article/details/116850879