第二章 sqoop的安装和配置连接测试

雨点打透心脏的1/2处 2022-12-27 07:59 91阅读 0赞

### 文章目录 ###

*   *  安装Sqoop的前提是已经具备Java和Hadoop的环境。
     *  下载并解压
     *  Sqoop安装和测试
     *  设置配置文件
     *  修改配置文件
     *  验证sqoop是否成功

## 安装Sqoop的前提是已经具备Java和Hadoop的环境。 ##

## 下载并解压 ##

1.  下载地址：[http://mirrors.hust.edu.cn/apache/sqoop][http_mirrors.hust.edu.cn_apache_sqoop]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70]

## Sqoop安装和测试 ##

为了将我们Hive处理后的数据导入到MySQL 中，需要借助第三方工具来帮忙，我们这里选择Sqoop。  
首先需要安装好Sqoop并且进行测试  
1.安装步骤  
![在这里插入图片描述][20201209094339299.png]

将下载的安装包sqoop放到 /opt/software目录下，并解压到 /opt /module下面目录

命令：

tar –zxvf  /opt/software/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz  -C /opt/module

 改一下名字  
命令：

mv sqoop-1.4.7.bin_hadoop-2.6.0.tar.gz sqoop-1.4.7

## 设置配置文件 ##

 Sqoop 和hive一样，下面的目录框架都差不多，也同样用conf目录 如下图

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 1]

 Sqoop 目录下的conf 文件，改文件名将sqoo-env-template.sh 改名字  
命令：`mv sqoop-env-template.sh sqoop-env.sh`  
![在这里插入图片描述][20201209094449202.png]

## 修改配置文件 ##

 打开sqoop-env.sh

![在这里插入图片描述][20201209094457683.png]

拷贝MySQL下面的jar包 mysql-connector-java-5.1.27-bin.jar到 sqoop lib目录下  
命令: `cp mysql-connector-java-5.1.27-bin.jar /opt/module/sqop-1.4.7/lib`  
![在这里插入图片描述][2020120909452886.png]

## 验证sqoop是否成功 ##

bin/sqoop help

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 2]

注意：也可配置环境变量，在/etc/profile下面，这样就不用写/bin了  
 测试连接数据库

bin/sqoop list-databases --connect jdbc:mysql://bigdata03:3306/ --username root --password 123456

出现如下输出，则安装成功  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 3][]

[http_mirrors.hust.edu.cn_apache_sqoop]: http://mirrors.hust.edu.cn/apache/sqoop
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70]: /images/20221120/4a496639b55b49f3b243118b6a75e146.png
[20201209094339299.png]: /images/20221120/148142f18ec4415f9321fc53cf26f3b4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20201209094431225.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw,size_16,color_FFFFFF,t_70
[20201209094449202.png]: https://img-blog.csdnimg.cn/20201209094449202.png
[20201209094457683.png]: https://img-blog.csdnimg.cn/20201209094457683.png
[2020120909452886.png]: https://img-blog.csdnimg.cn/2020120909452886.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201209094601489.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20201209094829695.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw,size_16,color_FFFFFF,t_70