mysql批插大量数据,大批量插入数据

爱被打了一巴掌 2023-01-16 09:53 177阅读 0赞

\# 大批量插入数据

\#\# 1.环境准备：

\`\`\`sql

CREATE TABLE \`tb\_user\_2\` (

\`id\` int(11) NOT NULL AUTO\_INCREMENT,

\`username\` varchar(45) NOT NULL,

\`password\` varchar(96) NOT NULL,

\`name\` varchar(45) NOT NULL,

\`birthday\` datetime DEFAULT NULL,

\`sex\` char(1) DEFAULT NULL,

\`email\` varchar(45) DEFAULT NULL,

\`phone\` varchar(45) DEFAULT NULL,

\`qq\` varchar(32) DEFAULT NULL,

\`status\` varchar(32) NOT NULL COMMENT '用户状态',

\`create\_time\` datetime NOT NULL,

\`update\_time\` datetime DEFAULT NULL,

PRIMARY KEY (\`id\`),

UNIQUE KEY \`unique\_user\_username\` (\`username\`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8 ;

\`\`\`

当使用load 命令导入数据的时候，适当的设置可以提高导入的效率。

~~~

./mysql --local-infile -uroot -p

load data local infile '/Users/develop/Desktop/sql1.log' into table tb\_user fields terminated by',' lines terminated by '\\\\n';

~~~

!\[\](https://img.kancloud.cn/59/1e/591e607afe42694d667554336a3e9be6\_2370x130.png)

对于 InnoDB 类型的表，有以下几种方式可以提高导入的效率：

1) 主键顺序插入

因为InnoDB类型的表是按照主键的顺序保存的，所以将导入的数据按照主键的顺序排列，可以有效的提高导入数据的效率。如果InnoDB表没有主键，那么系统会自动默认创建一个内部列作为主键，所以如果可以给表创建一个主键，将可以利用这点，来提高导入数据的效率。

\`\`\`

脚本文件介绍 :

sql1.log ----> 主键有序

sql2.log ----> 主键无序

\`\`\`

插入ID顺序排列数据：

!\[\](https://img.kancloud.cn/09/0b/090ba9222dc10ed5a247a7e515685a61\_2560x138.png)

插入ID无序排列数据：

!\[\](https://img.kancloud.cn/03/1d/031d6fcb09e54f6cbe34d9fea40ff345\_2306x136.png)

2) 关闭唯一性校验

在导入数据前执行 SET UNIQUE\_CHECKS=0，关闭唯一性校验，在导入结束后执行SET UNIQUE\_CHECKS=1，恢复唯一性校验，可以提高导入的效率。!\[\](https://img.kancloud.cn/c4/d6/c4d648fe9fffe6113c9bcca50121ee29\_2364x290.png)

3) 手动提交事务

如果应用使用自动提交的方式，建议在导入前执行 SET AUTOCOMMIT=0，关闭自动提交，导入结束后再执行 SET AUTOCOMMIT=1，打开自动提交，也可以提高导入的效率。

!\[\](https://img.kancloud.cn/2b/27/2b272b2b6a1056619dd298bdc0e0a643\_2364x278.png)

发表评论取消回复

表情：

评论列表（有 0 条评论，177人围观）

还没有评论，来说两句吧...

相关阅读

相关【笔记】mybatis大批量数据插入实践

> 本文测试三种方式，插入大量数据（10万以上）到mysql数据库中，有以下几种方式 > > 1. 普通方式 > 2. foreach批量插入 > 3. Executo

素颜马尾好姑娘i/ 2024年03月16日 17:05/ 0 赞/ 57 阅读

相关 MySQL 大批量插入，如何过滤掉重复数据？

加班原因是上线，解决线上数据库存在重复数据的问题，发现了程序的bug，很好解决，有点问题的是，修正线上的重复数据。线上库有6个表存在重复数据，其中2个表比较大，一个96万+

小灰灰/ 2023年09月26日 17:59/ 0 赞/ 53 阅读

相关 Redis大量数据插入

有時候Redis实例需要装载大量用户在短时间内产生的数据，数以百万计的keys需要被快速的创建称之为大量数据插入。从Redis 2.6开始redis-cli支持一种新的被称之为

红太狼/ 2023年06月26日 08:27/ 0 赞/ 12 阅读

相关 mysql批插大量数据,大批量插入数据

\ 大批量插入数据 \\ 1.环境准备： \`\`\`sql CREATE TABLE \`tb\_user\_2\` ( \`id\` int(11) NOT NUL

爱被打了一巴掌/ 2023年01月16日 09:53/ 0 赞/ 178 阅读

相关 Redis大量数据插入

有些时候，Redis实例需要装载大量用户在短时间内产生的数据，数以百万计的keys需要被快速的创建。我们称之为大量数据插入(mass insertion)，本文档的目标就是提供

矫情吗；*/ 2022年10月06日 15:51/ 0 赞/ 306 阅读

相关 mysql中插入大批量数据如何设置参数

set global max_allowed_packet=1024 1024 512; 单个packet可以允许的最大值 set global max_c

亦凉/ 2022年10月06日 08:00/ 0 赞/ 191 阅读

相关数据插入骚操作,大批量插入轻松过滤重复数据

点击蓝色“java大数据修炼之道”关注我哟加个“星标”，每晚21:00，一起学技术来源: telami.cn/2019/mysql-re

约定不等于承诺〃/ 2022年09月03日 11:13/ 0 赞/ 184 阅读

相关 MySQL 大批量插入，如何过滤掉重复数据？

![e77834895021edea28f9db8951114ec3.png][] > 在公司加班到八点，此为背景。加班原因是上线，解决线上数据库存在重复数据的问题，发现

绝地灬酷狼/ 2022年08月29日 14:54/ 0 赞/ 240 阅读

相关 navicat存储过程插入大批量数据

直接新建查询，所有操作都在查询编辑器中写SQL ![Image 1][] DROP PROCEDURE IF EXISTS test; CREATE PRO

灰太狼/ 2022年06月14日 07:50/ 0 赞/ 291 阅读

相关大批量插入sqlserver数据

大批量插入sqlserver数据工作需要测试数据，每张表最大一亿条数据，30至60个字段，原本写好了sql脚本直接运行，但是使用insert循环插入实在太慢了，平均只有每秒

╰+攻爆jí腚メ/ 2022年05月18日 04:50/ 0 赞/ 340 阅读