sqoop

秒速五厘米 2022-06-06 01:08 233阅读 0赞

### sqoop有什么用？ ###

sqoop 用来在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递

--------------------

### 将mysql表数据导入到hdfs ###

重启mysql
    sudo service mysqld restart
    
    进入shell
    sudo mysql -u root -p
    
    创建数据库
    create database my_db;
    
    切换到my_db下
    
    use my_db;
    
    创建表，插入数据
    create table t_stu( id int, name char(10), sex char(10) );
    insert into t_stu(id,name,sex) values(1,'lisi','man');
    insert into t_stu(id,name,sex) values(1,'wangwu','man');
    insert into t_stu(id,name,sex) values(1,'lili','woman');
    
    打开新的终端，先进入sqoop的lib目录下
    cd /usr/local/sqoop/bin
    
    进行导入到hdfs
    sqoop import --connect jdbc:mysql://localhost:3306/my_db --username hive --password 1234 --table t_stu --columns 'name,sex' -m 1 -target-dir '/sqoop/dir';
    参数说明：
    在sqoop中都使用--指明参数
    --connect jdbc,数据库url
    --username 数据库名
    --password 密码
    --table 指定表
    --columns 选择要导出的列
    -m  指定几个map任务并行导入数据
    -target-dir 导出到hdfs上的目录路径

成功后， 在hdfs 的指定目录下会生成来自表中数据文本

### 将mysql表数据导入到hive ###

sqoop import --hive-import --connect jdbc:mysql://localhost:3306/my_db --username hive --password 1234 --table t_stu --columns 'name,sex' -m 1;
    
    
    上面方法导入hive后，在hive中会创建一张同名的t_stu数据表, 若要指定在hive中的表名称:
    sqoop import --hive-import --connect jdbc:mysql://localhost:3306/my_db --username hive --password 1234 --table t_stu --columns 'name,sex' -m 1 --hive-table newTable;
    
    
    使用 “where” 条件筛选符合的数据再导入hive, --target-dir表示hive表存储的路径 AND \$CONDITIONS是必须加到where后的
    sqoop import --hive-import --connect jdbc:mysql://localhost:3306/my_db --username hive --password 1234 -m 1 --query "select * from t_stu where sex='woman' AND \$CONDITIONS" --target-dir '/sqoop/newtable' --hive-table newtable
    
    
    
    使用select查询语句，将结果导入hive sql语句使用双引号则需要加\$CONDITIONS
    sqoop import --hive-import --connect jdbc:mysql://localhost:3306/my_db --username hive --password 1234 -m 1 --query "select * from t_stu where sex='woman' AND \$CONDITIONS" --target-dir '/sqoop/newtable' --hive-table newtable

### 将hdfs平台数据导出到mysql数据库 ###

在本地创建student文件编辑数据，并上传到hdfs上  
数据:

1,zhangsan,man
    2,lisi,man
    3,huahua,woman

上传到hdfs

hadoop fs -put student student

在mysql创建一张空表， 字段类型需要和导入的一致型

create table t_student( id int, name char(10), sex char(10) );

将hdfs数据导出到mysql上

sqoop export --connect jdbc:mysql://localhost:3306/my_db --username hive --P --table student  --input-fields-terminated-by ',' --export-dir /student
    
    --input-fields-terminated-by ',' 表示hdfs文件已','作为字段的分割
    --export-dir 表示hdfs数据文件所在的地址
    
    
    在mysql查询数据
         2 | lisi | man |
    |    3 | huahua | woman |
    |    1 | zhangsan | man