Mysql如何快速插入千万条数据实战

朱雀 2022-11-04 09:03 218阅读 0赞

**目录**

一.创建数据库

二.创建表

1.创建 dept表

2.创建emp表

三.设置参数

四.创建函数

1.随机产生字符串

2.随机产生部门编号

五.创建存储过程

1. emp表存储过程

2.dept表存储过程

六.执行

1.先执行十条

2.查看数据

3.执行百万插入

--------------------

## 一.创建数据库 ##

![20210301224921999.png][]

## 二.创建表 ##

### 1.创建 dept表 ###

CREATE TABLE `dept` (
      `id` int(11) NOT NULL,
      `deptno` mediumint(9) DEFAULT NULL,
      `dname` varchar(20) DEFAULT NULL,
      `loc` varchar(13) DEFAULT NULL,
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

### 2.创建emp表 ###

CREATE TABLE `emp` (
      `id` int(11) NOT NULL,
      `empon` mediumint(9) DEFAULT NULL COMMENT '编号',
      `ename` varchar(20) DEFAULT NULL,
      `job` varchar(9) DEFAULT NULL,
      `mgr` mediumint(9) DEFAULT NULL COMMENT '上级编号',
      `hirdate` datetime DEFAULT NULL COMMENT '入职时间',
      `sal` decimal(7,2) DEFAULT NULL COMMENT '薪水',
      `comm` decimal(7,2) DEFAULT NULL COMMENT '红利',
      `deptno` mediumint(9) DEFAULT NULL COMMENT '部门编号',
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

## 三.设置参数 ##

**SHOW VARIABLES LIKE 'log\_bin\_trust\_function\_creators';**

![20210301225221143.png][]

默认关闭.  需要设置为1。因为表中设置 mediumint 字段 创建函数可能会报错

**SET GLOBAL log\_bin\_trust\_function\_creators=1;**

![20210301225507663.png][]

## 四.创建函数 ##

### **1.随机产生字符串** ###

DELIMITER $
    CREATE FUNCTION RAND_STR(n INT) RETURNS VARCHAR(255)
    BEGIN
       DECLARE chars_str VARCHAR(100) DEFAULT 'abcdefghijklmnopqrstuvwsyzABCDEFGHIJKLMNOPQRSTUVWXYZ';  
    	 DECLARE return_str VARCHAR(255) DEFAULT '';
       DECLARE i INT DEFAULT 0;
    	 WHILE i< n DO 
    	 SET return_str =COUCAT(return_str,SUBSTRING(chars_str,FLOOR(1+RAND()*52),1));
    	 SET i= i+1;
       END WHILE;
    	 RETURN return_str;
    END $

### **2.随机产生部门编号** ###

DELIMITER $
    CREATE FUNCTION RAND_num() RETURNS INT(5)
    BEGIN
       DECLARE i INT DEFAULT 0; 
    	 SET i= FLOOR(100+RAND()*10);
    	 RETURN i;
    END $

## 五.创建存储过程 ##

### **1. emp表存储过程** ###

DELIMITER $
    CREATE PROCEDURE insert_emp(IN START INT(10),IN max_num INT(10))
    BEGIN
         DECLARE i INT DEFAULT 0;
    		SET autocommit = 0;
    		REPEAT #重复
    		SET i = i + 1;
    		INSERT INTO emp(empon,ename,job,mgr,hiredate,sal,comm,depton) VALUES ((START+i),RAND_STR(6),'SALESMAN',0001,CURDATE(),2000,400,RAND_num());
    	  UNTIL i = max_num
        END REPEAT;
    	  COMMIT;
    END $

### **2.dept表存储过程** ###

DELIMITER $
    CREATE PROCEDURE insert_dept(IN START INT(10),IN max_num INT(10))
    BEGIN
         DECLARE i INT DEFAULT 0;
    		SET autocommit = 0;
    		REPEAT #重复
    		SET i = i + 1;
    		INSERT INTO dept(deptno,dname,loc) VALUES ((START+i),RAND_STR(10),RAND_STR(8));
    	  UNTIL i = max_num
        END REPEAT;
    	  COMMIT;
    END $

##  六.执行 ##

### **1.先执行十条** ###

![20210301235515773.png][]

**这个错误是一个小坑 发现了吗 我之前留下的  根据提示 去排查吧 **

![20210302001103255.png][]

执行成功！

### **2.查看数据** ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70][]

**重头戏来喽！  一次性干他百万条数据  赌一把 看看会不会玩崩了**

### 3.执行百万插入 ###

**CALL insert\_dept(10001,1000000);**

![20210302003048252.png][]

400s跑百万数据  一秒2500条    我这配置太垃圾  以前测试的是一秒一万 最好50W跑一次

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 1][]

![20210302003415918.png][]

欧克 睡觉

[20210301224921999.png]: /images/20221023/119127ed69f44d779e20e7b146995712.png
[20210301225221143.png]: /images/20221023/b59a32b748624c3da5d03d01621e5d23.png
[20210301225507663.png]: /images/20221023/c2fb49cf02ab422987e6a3989dc5d857.png
[20210301235515773.png]: /images/20221023/8c594f1c75494bba8f045edbe346e892.png
[20210302001103255.png]: /images/20221023/872b8dc15b7b4de09e8febf1c9dc3d2d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70]: /images/20221023/98f7406f2a4042a08eef65b188dd1c96.png
[20210302003048252.png]: /images/20221023/91d27366f787476bbc6d78d1ec016f64.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 1]: /images/20221023/348c286977f14f66b5796eecb71cbb86.png
[20210302003415918.png]: /images/20221023/bbd87b4706e241c287657dc96164fa67.png