sqoop的使用

水深无声 2022-09-20 12:40 165阅读 0赞

sqoop作用： 用于将hdfs上的数据导到关系数据库中，或将关系数据库中的数据导入到hdfs上，本文以mysql为例

一、安装

从官网上下载[http://mirrors.hust.edu.cn/apache/sqoop/1.4.4/][http_mirrors.hust.edu.cn_apache_sqoop_1.4.4]， 我安装的hadoop版本为1.0.2所以下载的sqoop为：sqoop-1.4.4.bin\_\_hadoop-1.0.0.tar.gz

将sqoop-1.4.4.bin\_\_hadoop-1.0.0.tar.gz解压，然后将mysql-connector-java-5.1.28-bin.jar拷备到解压后的lib目录下，修改bin/configure-sqoop文件将不用到的HBASE ZOOKEEPER部分注释掉，在/etc/profile里配置sqoop环境变量：

export SQOOP\_HOME=/home/chenxz/sqoop-1.4.4.bin\_\_hadoop-1.0.0  
PATH=$SQOOP\_HOME/bin:$PATH  
export PATH

二、准备工作

1.hdfs上导入到mysql时需要提前在mysql里创建相关的表。

2.mysql数据库需要创建远程帐号并授权：

grant all privileges on \*.\* to admin@"%" identified by '111111' with grant option;

三、测试mysql连接

bin/sqoop list-databases --connect jdbc:mysql://172.18.11.117:3306/ --username admin --password 111111

四、mysql导入到hdfs中

bin/sqoop import --connect jdbc:mysql://172.18.11.117/sqooptest  --table people --username admin --password 111111 \-m  1

五、hdfs导入到mysql中

bin/sqoop export --connect jdbc:mysql://172.18.11.117/sqooptest  --table people --username admin --password 111111 --export-dir /user/root/people

[http_mirrors.hust.edu.cn_apache_sqoop_1.4.4]: http://mirrors.hust.edu.cn/apache/sqoop/1.4.4/

发表评论取消回复

表情：

评论列表（有 0 条评论，165人围观）

还没有评论，来说两句吧...

相关阅读

相关 sqoop安装 & 使用

目录拷贝安装包解压改名拷贝jar包修改配置文件配置环境变量查看安装情况查看指定mysql服务器中数据库查看指定mysql服务器数据库中的

妖狐艹你老母/ 2024年03月26日 19:48/ 0 赞/ 68 阅读

相关 Sqoop 使用详解

Sqoop 概述 Sqoop 是Apache 旗下的一款开源工具，用于Hadoop与关系型数据库之间传送数据，其核心功能有两个：导入数据和导出数据。导入数据是指将MySQ

左手的ㄟ右手/ 2023年10月10日 16:14/ 0 赞/ 62 阅读

相关 sqoop使用

sqoop使用 1. 导入数据 2. 从mysql向hive导入数据 2.1 导入用户信息表 2.导入订单表

布满荆棘的人生/ 2023年09月26日 23:37/ 0 赞/ 113 阅读

相关 sqoop使用入门

sqoop使用入门数据导入 import mysql to hdfs mysql to hi

àì夳堔傛蜴生んèń/ 2023年07月20日 05:32/ 0 赞/ 13 阅读

相关 sqoop的使用

1、全量导入mysql表数据到hdfs bin/sqoop import \ --connect jdbc:mysql://node-1:33

缺乏、安全感/ 2023年06月08日 06:14/ 0 赞/ 5 阅读

相关 sqoop mysql 安装_sqoop安装及使用

简介： sqoop是一款用于hadoop和关系型数据库之间数据导入导出的工具。你可以通过sqoop把数据从数据库(比如mysql,oracle)导入到hdfs中；也可以把数据

傷城~/ 2023年01月12日 12:00/ 0 赞/ 252 阅读

相关 sqoop的使用

sqoop作用：用于将hdfs上的数据导到关系数据库中，或将关系数据库中的数据导入到hdfs上，本文以mysql为例一、安装从官网上下载[http://mirrors

水深无声/ 2022年09月20日 12:40/ 0 赞/ 166 阅读

相关 sqoop_使用

<table> <tbody> <tr> <td><p>命令</p></td> <td><p>说明</p></td> </tr>

一时失言乱红尘/ 2022年05月25日 08:48/ 0 赞/ 207 阅读

相关 sqoop的安装使用

\[b\]\[color=olive\]\[size=large\]散仙，在上篇文章中，简述了sqoop的的功能，作用，以及版本演进，那么本篇我们就来实战下，看下如下安装使用s

傷城~/ 2022年04月21日 14:22/ 0 赞/ 164 阅读

相关 sqoop使用指南

sqoop可以作为一个数据管道工具，用于在传统数据库和hive等大数据仓库之间进行数据传输（双向的）。场景：在HUE（Hadoop图形化用户界面工具）上，使用Oozie（

系统管理员/ 2021年12月07日 09:39/ 0 赞/ 336 阅读