Mysql--导入数据(本地+HDFS数据入库)

红太狼 2022-12-20 02:51 184阅读 0赞

### 导入数据 ###

在mysql中建好表后，导入数据的时候使用了2种方法

#### 1）由txt/xlsx/xls文件导入 ####

网上步骤一步一步进行即可，地址链接

https://jingyan.baidu.com/article/48a420571a6f71a9242504fe.html

Tips:使用该方法遇到的问题:
    	1、使用txt文档导入数据时，即使txt文档数据和表字段一一选好，但还是会出现错位的情况，不知为何在他导入的时候会自己重新排插入表字段的顺序，还是会对应不上；
    	2、使用xlsx/xls导入数据时，字段缺少不能实现一一对应；

#### 2）命令行 LOAD ####

LOAD DATA LOCAL INFILE ‘文件绝对路径’ INTO TABLE 表名 character set utf8 FIELDS TERMINATED BY ‘,’;

LOAD DATA LOCAL INFILE ‘G:/data/mr-ah-0628-pro\_cit\_day.txt’ INTO TABLE table1 character set utf8 FIELDS TERMINATED BY ‘,’;

LOAD DATA LOCAL INFILE ‘G:/data\_mysql/’ INTO TABLE character set utf8 FIELDS TERMINATED BY ‘,’;

LOAD DATA LOCAL INFILE ‘G:/data\_mysql/’ INTO TABLE character set utf8 FIELDS TERMINATED BY ‘|’;

Tips:
    	1、没有遇到问题，但是要注意命令行在要操作的数据库右键-> 命令列界面打开 ，注意加上编码和字段分隔符；
    	
    	2、innodb默认是开启事务的，如果我们把事务给停了，插入百万级数据速度会快很多；
    	//停掉事务
    		set autocommit = 0;  
    	//调用存储过程
    		call ptestInndb; 
    	//重启事务
    		set autocommit = 1;

#### 3）转出数据(已经生成表和数据) ####

需要在cmd上执行

mysqldump -u xxx -p -e xx  表名 > 路径/导出文件名.sql

#### 4）sqoop本地文件到mysql表 ####

sqoop eval --connect jdbc:mysql://xxxx.xxx.xxx.xxx:3306/noce --username root --password 123456 --query "LOAD DATA LOCAL INFILE '/root/submit/mr_split/a.txt' INTO TABLE table1 character set utf8 FIELDS TERMINATED BY ',';"

#### 5）sqoopHDFS文件到mysql表 ####

sqoop export \
    --connect jdbc:mysql://hadoop001:3306/sqoop \
    --username root \
    --password 123456 \
    --table emp_demo \
    --export-dir /data/emp.txt \
    -m 1 \
    --verbose \
    --fields-terminated-by '\t'
    
    tips:
    –table 指定MySQL接收数据的表 
    –export-dir 指定从HDFS那个路径下导出数据 
    –verbose 打印更多信息 
    –fields-terminated-by ‘\t’ 指定分隔符为\t 记住必须指定分隔符否则报错
    
    
    示例：
    sqoop export --connect jdbc:mysql://192.168.5.129:3306/hadoop --table emp_demo --username root --password 111111 --export-dir /opt/hadoop/hive/ --input-fields-terminated-by '\t'

### 3、导出数据 ###

mysql导入数据报错ERROR 1290

https://blog.csdn.net/qq_33317586/article/details/89415882

#### 1）mysql导出为本地文件： ####

方法1：  
SELECT a.\*,b.rru\_related\_sit\_code FROM 库.表名 AS a JOIN dim\_sector AS b ON a.base\_statn\_id=b.base\_statn\_id AND a.cell\_id=b.cell\_id AND b.province\_id=844 AND b.`day`=20200724 AND a.province\_id=844 AND b.`day`=20200724 INTO OUTFILE “G:/data\_mysql/1.txt” fields terminated by ‘,’;

INTO OUTFILE “G:/data\_mysql/1.txt” fields terminated by ‘,’;

方法2：  
通过mysql select outfile的方式导出数据  
SELECT id,name into outfile “D:\\temp\\demo.txt” fields terminated by “,” lines terminated by ‘\\r\\n’  
from demo;

方法3：  
通过mysql select outfile 配合ESCAPED BY ''导出数据  
SELECT id,name into outfile “D:\\temp\\demo1.txt” fields terminated by “\\t” ESCAPED BY ‘’ lines terminated by ‘\\r\\n’  
from demo;

方法4：  
mysql外导出数据  
mysql -uxxx -p xxx -e “” | tr “\\t” “,” >> /.txt

#### 2）mysql导出为HDFS文件 ####

sqoop import --connect jdbc:mysql://xxx.xxx.xxx.xxx:3306/hadoop --username root --password 111111 --table emp\_demo --fields-terminated-by ‘\\t’ -m 1