Sqoop的简单使用案例

女爷i 2023-03-01 12:43 28阅读 0赞

### 目录 ###

*   *  RDBMS到HDFS
     *   *   *  全部导入
             *  查询导入
             *  导入指定列
             *  使用sqoop关键字筛选查询导入数据
     *  RDBMS到Hive
     *  RDBMS到Hbase
     *  HIVE/HDFS到RDBMS
     *  脚本打包

## RDBMS到HDFS ##

1.确定Mysql服务开启正常  
2.在Mysql中新建一张表并插入一些数据

$ mysql -uroot -proot
    mysql> create database company;
    mysql> create table company.staff(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255));
    mysql> insert into company.staff(name, sex) values('Thomas', 'Male');
    mysql> insert into company.staff(name, sex) values('Catalina', 'FeMale');

3.导入数据

#### 全部导入 ####

bin/sqoop import \
    --connect jdbc:mysql://hadoop102:3306/company \
    --username root \
    --password root \
    --table staff \
    --target-dir /user/company \
    --delete-target-dir \
    --num-mappers 1 \
    --fields-terminated-by "\t"

#### 查询导入 ####

bin/sqoop import \
    --connect jdbc:mysql://hadoop102:3306/company \
    --username root \
    --password root \
    --target-dir /user/company \
    --delete-target-dir \
    --num-mappers 1 \
    --fields-terminated-by "\t" \
    --query 'select name,sex from staff where id <=1 and $CONDITIONS;'

**`提示：must contain '$CONDITIONS' in WHERE clause.`**  
**`如果query后使用的是双引号，则$CONDITIONS前必须加转移符，防止shell识别为自己的变量。`**

#### 导入指定列 ####

**`提示：columns中如果涉及到多列，用逗号分隔，分隔时不要添加空格`**

#### 使用sqoop关键字筛选查询导入数据 ####

## RDBMS到Hive ##

bin/sqoop import \
    --connect jdbc:mysql://hadoop102:3306/company \
    --username root \
    --password root \
    --table staff \
    --num-mappers 1 \
    --hive-import \
    --fields-terminated-by "\t" \
    --hive-overwrite \
    --hive-table staff_hive

**`提示：该过程分为两步，第一步将数据导入到HDFS，第二步将导入到HDFS的数据迁移到Hive仓库，第一步默认的临时目录是/user/atguigu/表名`**

## RDBMS到Hbase ##

bin/sqoop import \
    --connect jdbc:mysql://hadoop102:3306/company \
    --username root \
    --password root \
    --table company \
    --columns "id,name,sex" \
    --column-family "info" \
    --hbase-create-table \
    --hbase-row-key "id" \
    --hbase-table "hbase_company" \
    --num-mappers 1 \
    --split-by id

**`提示：sqoop1.4.6只支持HBase1.0.1之前的版本的自动创建HBase表的功能`**  
解决方案：手动创建HBase表

hbase> create 'hbase_company,'info'

在HBase中scan这张表得到如下内容

hbase> scan ‘hbase_company’

## HIVE/HDFS到RDBMS ##

bin/sqoop export \
    --connect jdbc:mysql://hadoop102:3306/company \
    --username root \
    --password root \
    --table staff \
    --num-mappers 1 \
    --export-dir /user/hive/warehouse/staff_hive \
    --input-fields-terminated-by "\t"

**`提示：Mysql中如果表不存在，不会自动创建`**

## 脚本打包 ##

使用opt格式的文件打包sqoop命令，然后执行  
创建一个.opt文件

mkdir opt
    touch opt/job_HDFS2RDBMS.opt

编写sqoop脚本

vi opt/job_HDFS2RDBMS.opt

export
    --connect
    jdbc:mysql://hadoop102:3306/company
    --username
    root
    --password
    root
    --table
    staff
    --num-mappers
    1
    --export-dir
    /user/hive/warehouse/staff_hive
    --input-fields-terminated-by
    "\t"

执行该脚本

bin/sqoop --options-file opt/job_HDFS2RDBMS.opt