二、Sqoop 的导入导出及任务脚本

- 日理万妓 2023-06-02 07:56 19阅读 0赞

**目录**

一、导入数据

1、RDBMS 到 HDFS

2、RDBMS 到 Hive

3、RDBMS 到 Hbase

三、导出数据

1、HIVE/HDFS 到 RDBMS

四、脚本打包

--------------------

## 一、导入数据 ##

在 Sqoop 中，**“导入”概念指：从非大数据集群（RDBMS）向大数据集群**（HDFS， HIVE，HBASE）中传输数据，叫做：导入，即使用 import 关键字

### 1、RDBMS 到 HDFS ###

**（1）、在MySql中制作数据**

确定 Mysql 服务开启正常，在 Mysql 中新建一张表并插入一些数据

create table company.staff(id int(4) primary key not null
                               auto_increment, 
                               name varchar(255), 
                               sex varchar(255));
    
    
    insert into company.staff(name, sex) values('Thomas', 'Male');
    insert into company.staff(name, sex) values('Thomas', 'Male');

**（2）、MySql导入HDFS**

**（a）全部导入**

bin/sqoop import \
    --connect jdbc:mysql://ip:3306/mysql_db_name \
    --username root \
    --password xxxx \
    --table table_name \
    --target-dir hdfs_path \
    --delete-target-dir \
    --num-mappers 1 \
    --fields-terminated-by "\t"

\--delete-target-dir ： hdfs该目录中有数据则先删除

\--num-mappers 1 ： 指定map数

\--fields-terminated-by "\\t" ： 指定分隔符

**（b****）查询导入**

**提示： must contain '$CONDITIONS' in WHERE clause.**

**如果 query 后使用的是双引号，则$CONDITIONS 前必须加转移符 \\，防止 shell 识别为自己的变量**

--query "select name,sex from table_name where id <=1 and \$CONDITIONS;"

**（c）导入指定列**

bin/sqoop import \
    --connect jdbc:mysql://ip:3306/mysql_db_name \
    --username root \
    --password xxxx \
    --target-dir hdfs_path \
    --delete-target-dir \
    --num-mappers 1 \
    --fields-terminated-by "\t"
    --columns id,sex \
    --table table_name

**提示： columns 中如果涉及到多列，用逗号分隔，分隔时不要添加空格**

**（d）使用 sqoop 关键字筛选查询导入数据**

### 2、RDBMS 到 Hive ###

bin/sqoop import \
    --connect jdbc:mysql://ip:3306/mysql_db_name \
    --username root \
    --password xxxx \
    --table table_name \
    --hive-import \
    --fields-terminated-by "\t" \
    --hive-overwrite \
    --hive-table hive_table_name

**提示：该过程分为两步，第一步将数据导入到 HDFS中的一个临时目录中，第二步将导入到 HDFS 的数据迁移到Hive 仓库。**

**hive\_table\_name 表可以不存在，会创建，为hive的内部表**

### 3、RDBMS 到 Hbase ###

bin/sqoop import \
    --connect jdbc:mysql://ip:3306/mysql_db_name \
    --username root \
    --password xxxx \
    --table table_name \
    --columns "id,name,sex" \
    --column-family "列族" \
    --hbase-create-table \
    --hbase-row-key "键" \
    --hbase-table "hbase_table_name" \
    --num-mappers 1 \
    --split-by 分割字段

**提示： sqoop1.4.6 只支持 HBase1.0.1 之前的版本的自动创建 HBase 表的功能，之后的版本可以手动创建Hbase表。**

\--hbase-create-table \\ ： 表不存在则创建

**--split-by**一般要结合并行度来使用。另外--split-by指定的列需要为主键。假如设置并行--num-mappers=4，加--split-by的情况会根据主键先查最大值和最小值， 然后根据指定的字段，将数据分成 --split-by 指定的个数并行执行，一般数据库表的关键字以数字类型为准，若为字符类型，最好能转换为数字类型，否则会报错或者切片不均。

## 三、导出数据 ##

在 Sqoop 中，**“导出”概念指：从大数据集群（HDFS， HIVE， HBASE）向非大数据集群（RDBMS）中传输数据**，叫做：导出，即使用 export 关键字

### **1、HIVE/HDFS 到 RDBMS** ###

bin/sqoop export \
    --connect jdbc:mysql://ip:3306/mysql_db_name \
    --username root \
    --password xxxx \
    --table table_name \
    --num-mappers 1 \
    --export-dir hdfs_path \
    --input-fields-terminated-by "\t"

**提示： Mysql 中如果表不存在，不会自动创建**

**不支持 Hbase 导出到 RDBMS**

## 四、脚本打包 ##

**1、使用 opt 格式的文件打包 sqoop 命令，然后执行**

mkdir opt
    touch opt/job_HDFS2RDBMS.opt

**2、编写 sqoop 脚本**

vim opt/job_HDFS2RDBMS.opt

**3、将数据导出到 RDBMS**

export
    --connect
    jdbc:mysql://ip:3306/company
    --username
    root
    --password
    xxxx
    --table
    table_name
    --num-mappers
    1
    --export-dir
    hdfs_path
    --input-fields-terminated-by
    "\t"

**4、执行该脚本**

bin/sqoop --options-file opt/job_HDFS2RDBMS.opt