利用Sqoop将数据从MySQL到HDFS、从MySQL到HIVE

た入场券 2022-02-25 04:50 291阅读 0赞

## 什么是Sqoop？ ##

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。  
[摘自百度百科][Link 1]

## 从MySQL到HDFS ##

sqoop import --connect jdbc:mysql://<主机名称>:3306/<数据库名称> --username <用户名>--password <密码> --table <表名> --warehouse-dir=<导入HDFS的文件夹地址>

例子:

[root@nn ~]# sqoop import --connect jdbc:mysql://dn2:3306/training --username moni--password 123456 --table cityByCountry --warehouse-dir=/user/hive/warehouse

之后会出现一个MaReduce的作业，当执行完就可以在HIVE中的default库上可以看到。  
**注意：在导入时可能会出现permission denied的错误，在sqoop前面添加sudo -u <导入hdfs文件夹的所属人>，我这里是文件所属人是hive，所以sudo -u hive。**

## 从MySQL到HIVE表 ##

sudo -u hive sqoop import --connect jdbc:mysql://<主机名称>:3306/<数据库名称> --username <用户名> --password <密码>--table <表名称> --hive-import --hive-database <导入数据库>

例子:

[root@nn ~]# sudo -u hive sqoop import --connect jdbc:mysql://dn2:3306/movielens --username moni--password 123456 --table user --hive-import --hive-database movielens

[Link 1]: https://baike.baidu.com/item/sqoop/5033853

发表评论取消回复

表情：

评论列表（有 0 条评论，291人围观）

还没有评论，来说两句吧...

相关阅读

相关 Sqoop将MySQL数据导入到HDFS和Hive中

一、将数据从mysql导入 HDFS **sqoop import --connect jdbc:mysql://192.168.76.1:3306/workf...

雨点打透心脏的1/2处/ 2024年04月17日 06:23/ 0 赞/ 77 阅读

相关 Hadoop sqoop从MySQL导入数据到HDFS

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

本是古典何须时尚/ 2023年10月07日 10:49/ 0 赞/ 19 阅读

相关将数据从数据仓库Hive导入到MySQL

1.启动Hadoop，hive，mysql 2.在mysql中建表（需要导入数据的） mysql> CREATE TABLE `dbtaobao`.`user_lo

桃扇骨/ 2022年10月10日 09:52/ 0 赞/ 257 阅读

相关使用Sqoop将Hive表数据导入到mysql

通过Sqoop将Hive表数据导入到Mysql通常有两种情况。第一种是将hive上某张表的全部数据导入到mysql对应的表中。第二种是将hive上某张表中的部分数据导入

亦凉/ 2022年10月10日 09:51/ 0 赞/ 627 阅读

相关 Sqoop2 从MySQL导入数据到Hadoop HDFS

前言 Apache Sqoop(TM) is a tool designed for efficiently transferring bulk data between

╰+攻爆jí腚メ/ 2022年07月08日 17:26/ 0 赞/ 267 阅读

相关 sqoop mysql到HDFS

Hadoop3版本可以用sqoop1 [参考地址][Link 1] 问题： ClassNotFoundException class 表名 not found 配置

灰太狼/ 2022年04月25日 08:28/ 0 赞/ 264 阅读

相关 Sqoop导出Mysql到hdfs, Sqoop将Mysql导出到hive 01

1. Sqoop概述 sqoop是一款数据导入导出的工具，从关系型数据库到大数据平台，从大数据平台到关系型数据库 sqoop的版本分为两大类： s

女爷i/ 2022年02月27日 19:18/ 0 赞/ 333 阅读

相关利用Sqoop将数据从MySQL到HDFS、从MySQL到HIVE

什么是Sqoop？ Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数

た入场券/ 2022年02月25日 04:50/ 0 赞/ 292 阅读

相关 Sqoop将hdfs上的数据导入到MySQL

1.所用的数据 user.txt 字段属性备注 uname varchar 用户名 vnum int

小咪咪/ 2021年12月11日 22:53/ 0 赞/ 428 阅读

相关 sqoop 从mysql导入数据到 hadoop出错

19/07/29 01:42:50 ERROR tool.ImportTool: Import failed: org.apache.hadoop.ipc.RemoteExce

蔚落/ 2021年11月16日 22:28/ 0 赞/ 400 阅读