sqoop（一）hive导数据过程中的命令和问题

分手后的思念是犯贱 2024-04-18 12:24 53阅读 0赞

**一. sqoop 命令**

1.  cd $SQOOP\_HOME/bin  
    ![在这里插入图片描述][20190906140508618.png]
2.  列出 database中的所有表，我这里只有一个表temp

sqoop list-tables --connect "jdbc:mysql://11.11.1111.11:3306/testdatabase"  \
     --username aaa --password 'bbb'

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdxaW5neXVlYmFpMTk_size_16_color_FFFFFF_t_70]  
3. 导入所有表

sqoop import-all-tables --connect "jdbc:mysql://11.11.111.11:3306/testdatabase" --username aaa --password 'aaa' --hive-import --hive-database testone

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdxaW5neXVlYmFpMTk_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdxaW5neXVlYmFpMTk_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdxaW5neXVlYmFpMTk_size_16_color_FFFFFF_t_70 3]  
4. 如果只导入一张表 （或者先创建再导入） 注意每一个 \\ 后面都不能有空格

–hive-drop-import-delims 去掉字段里的\\n\\r\\t等  
–hive-delims-replacement ‘||’ 用||替换\\n\\r\\t等  
上面这两个参数只能有一个  
–fields-terminated-by ‘\\t’ 字段已\\t分割 就是insert这张表的时候字段有‘\\t’被视为两个字段 如果写成"," 那字段里就不能有","

sqoop import   \
    
     --connect "jdbc:mysql://11.11.111.11:3306/testdatabase" \
     --username aaaa--password 'aaa' \
     --table temp3  \
     --hive-overwrite  \
     --hive-database testone \
     --create-hive-table \
     --hive-table temp3  \
     --hive-drop-import-delims  \
     --fields-terminated-by '\t' \
     --delete-target-dir  \
     --m 3;

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdxaW5neXVlYmFpMTk_size_16_color_FFFFFF_t_70 4]

**二. hive 命令**

1.  $HIVE\_HOME/bin/hive  
    也可以直接在sqoop 中用 hive -database testone 或者 hive -e “use database; select \* from temp;”  
    hive 语法和mysql基本一样（但还是有不一样的！！）  
    ![在这里插入图片描述][20190906141421522.png]
2.  show databases;  
    ![在这里插入图片描述][20190906141537111.png]
3.  创建database  
    create database testone;  
    ![在这里插入图片描述][20190906142001207.png]
4.  查询database，  
    查询数据 select \* from tablename;  
    查看表结构 desc tablename  
    ![在这里插入图片描述][20190906142859744.png]  
    ![在这里插入图片描述][20190906142937673.png]  
    INSERT OVERWRITE 覆盖插入  
    INSERT INTO 插入

没设置成桶表的话，不能删除数据

问题一： hive在linux中没办法使用 delete 和 backspace  
https://blog.csdn.net/kicilove/article/details/78423178

问题二：org.apache.hadoop.mapred.FileAlreadyExistsException：Output directory hdfs://xxx/user/root/temp  
删掉文件夹  
hadoop fs -rmr /user/root/temp

问题三：mysql导入null到hive的时候会变成"null"加下面两句话  
–null-string ‘\\N’  
–null-non-string ‘\\N’ \\

[20190906140508618.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/15a6595dfcf74988a48f551cdb3bac80.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdxaW5neXVlYmFpMTk_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/5e34881d918740ddacc099ed0c4a3d35.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdxaW5neXVlYmFpMTk_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/f0432d3889e0474cad0ee0544247a316.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdxaW5neXVlYmFpMTk_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/0e03231ad4a44a7987540659126cf2fb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdxaW5neXVlYmFpMTk_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/2a31abf386b846018bc1faca111cef5e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdxaW5neXVlYmFpMTk_size_16_color_FFFFFF_t_70 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/39a13bbe5c804ef0b2a7664cf64e88cf.png
[20190906141421522.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/1bf972c542d6411f9adc5188a6066afa.png
[20190906141537111.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/7847eb510c564aebaf1f372dad4282a0.png
[20190906142001207.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/402eded524b84a2b9b292cb8853e17f4.png
[20190906142859744.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/0ca9616cb4934c29be30cf6a9d9493c6.png
[20190906142937673.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/7d96244192da422db7f433b5fb241ce5.png