sqoop介绍与安装

骑猪看日落 2022-06-12 11:23 274阅读 0赞

# sqoop介绍与安装 #

## 1 概述 ##

sqoop是Apache旗下的一款“hadoop和关系型数据库服务器之间传送数据”的工具。  
**导入数据**：将关系型结构化数据如MySQL，oracle数据导入到hadoop的hdfs、hive、hbase的数据存储系统。  
**导出数据**：从hadoop的文件系统中导出数据到关系型数据库。  
![sqoop_E4_BB_8B_E7_BB_8D_E4_B8_8E_E5_AE_89_E8_A3_85_1.png][]

## 2 工作机制 ##

将导入导出命令解析成MapReduce程序来实现，解析出的MapReduce中主要是对inputformat和outputformat进行定制。

## 3 sqoop安装 ##

安装sqoop的前提是已经具备java和hadoop的环境。

### 3.1 下载并解压 ###

最新版下载地址[http://ftp.wayne.edu/apache/sqoop/1.4.6/][http_ftp.wayne.edu_apache_sqoop_1.4.6]

### 3.2 修改配置文件 ###

$ cd $SQOOP_HOME/conf
    $ mv sqoop-env-template.sh sqoop-env.sh
    # 打开sqoop-env.sh并编辑下面几行：
    export HADOOP_COMMON_HOME=/soft/hadoop-2.6.1/ 
    export HADOOP_MAPRED_HOME=/soft/hadoop-2.6.1/
    export HIVE_HOME=/soft/hive-1.2.1

### 3.3 加入mysql的jdbc驱动包 ###

可以从hive的lib中拷贝MySQL驱动到sqoop的lib目录下。  
`cp /soft/hive/lib/mysql-connector-java-5.1.28.jar $SQOOP_HOME/lib`  
如果没有mysql的驱动的话需要自己到Apache官网去下载。

### 3.4 验证启动 ###

输入`$sqoop version`命令如果成功应该显示如下信息：

15/12/17 14:52:32 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6
    Sqoop 1.4.6 git commit id 5b34accaca7de251fc91161733f906af2eddbe83
    Compiled by abe on Fri Aug 1 11:19:26 PDT 2015

OK! 到这里sqoop的安装已经完成。

[sqoop_E4_BB_8B_E7_BB_8D_E4_B8_8E_E5_AE_89_E8_A3_85_1.png]: /images/20220612/430075d774984e1a839ea4e08504b1be.png
[http_ftp.wayne.edu_apache_sqoop_1.4.6]: http://ftp.wayne.edu/apache/sqoop/1.4.6/

发表评论取消回复

表情：

评论列表（有 0 条评论，274人围观）

还没有评论，来说两句吧...

相关阅读

相关 sqoop安装

文章目录 1. 上传安装包至虚拟机 2. 解压安装包到指定路径 3. 修改目录名 4. 配置环境变量

小灰灰/ 2023年09月26日 23:23/ 0 赞/ 124 阅读

相关 sqoop安装和命令介绍

一,sqoop介绍 1.1 sqoop简介 Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行

落日映苍穹つ/ 2023年06月24日 12:23/ 0 赞/ 16 阅读

相关 Sqoop安装与部署

Sqoop 安装与部署 -------------------- > 更多Hadoop组件配套安装与部署 > Hadoop：https://blog.csdn

今天药忘吃喽~/ 2023年06月15日 15:23/ 0 赞/ 26 阅读

相关 Sqoop 安装与部署

Sqoop 安装与部署 -------------------- > 更多Hadoop组件配套安装与部署 > Hadoop：https://blog.csdn

た入场券/ 2023年06月15日 11:25/ 0 赞/ 14 阅读

相关 Sqoop安装

1.下载并解压 1)链接：https://pan.baidu.com/s/1xHy8CQbH7KBydrOpGmkokA 提取码：wyu8 2）上传安装包 sqoop

素颜马尾好姑娘i/ 2023年02月08日 15:55/ 0 赞/ 21 阅读

相关 sqoop简介与安装配置

SQOOP的描述 SQOOP是用于对数据进行导入导出的。 (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中

你的名字/ 2022年08月05日 16:24/ 0 赞/ 207 阅读

相关 sqoop介绍与安装

sqoop介绍与安装 1 概述 sqoop是Apache旗下的一款“hadoop和关系型数据库服务器之间传送数据”的工具。导入数据：将关系型结构化数据如MyS

骑猪看日落/ 2022年06月12日 11:23/ 0 赞/ 275 阅读

相关 sqoop安装

安装sqoop的前提是已经具备java和hadoop的环境 1、下载并解压最新版下载地址http://ftp.wayne.edu/apache/sqoop/1.4.6/

红太狼/ 2022年03月15日 11:12/ 0 赞/ 253 阅读

相关 Sqoop 安装与基础命令

一、概述 1. sqoop是Apache 提供的工具，用于hdfs和关系型数据库之间数据的导入和导入 2. 可以从hdfs导出数据到关系型数据库，也可以从关系型数据库

深藏阁楼爱情的钟/ 2022年02月27日 15:34/ 0 赞/ 247 阅读

相关 sqoop之安装与配置

下面来记录并分享下sqoop相关： 1、下载安装包 wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1

r囧r小猫/ 2021年09月23日 15:18/ 0 赞/ 532 阅读