2.7.1 hadoop体系之离线计算-sqoop数据迁移工具-sqoop简介

向右看齐 2022-12-24 07:57 161阅读 0赞

**目录**

1.sqoop概述

2.sqoop1和sqoop2架构的对比

3.工作机制

--------------------

# 1.sqoop概述 #

sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。

*  导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系 统；
 *  导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70][]

# 2.sqoop1和sqoop2架构的对比 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1][]

# 3.工作机制 #

将导入或导出命令翻译成mapreduce程序来实现

在翻译出的mapreduce中主要是对inputformat和outputformat进行定制

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70]: /images/20221120/174e32cd2f3b46a9b92690d511ff5b13.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20201127141752103.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU=,size_16,color_FFFFFF,t_70

发表评论取消回复

表情：

评论列表（有 0 条评论，161人围观）

还没有评论，来说两句吧...

相关阅读

相关 2.7.3 hadoop体系之离线计算-sqoop数据迁移工具-sqoop实战（导入+导出）

目录 1.Sqoop的数据导入 1.1 查看关系型数据数据库的信息 1.2 导入数据库表中数据到HDFS 1.3 导入数据库表中数据到hdfs指定目录 1.4 导入数

小灰灰/ 2022年12月24日 07:58/ 0 赞/ 149 阅读

相关 2.7.2 hadoop体系之离线计算-sqoop数据迁移工具-sqoop安装

目录 1.下载并解压 2.修改配置文件 3.加入额外的依赖包 4.验证启动 -------------------- 安装sqoop的前提是已经具备了java和ha

谁践踏了优雅/ 2022年12月24日 07:58/ 0 赞/ 258 阅读

相关 2.7.1 hadoop体系之离线计算-sqoop数据迁移工具-sqoop简介

目录 1.sqoop概述 2.sqoop1和sqoop2架构的对比 3.工作机制 -------------------- 1.sqoop概述 sqoop是ap

向右看齐/ 2022年12月24日 07:57/ 0 赞/ 162 阅读

相关 sqoop数据迁移

1 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。导入数据：MySQL，Oracle导入数据到Hadoop的HDF

墨蓝/ 2022年11月21日 09:59/ 0 赞/ 253 阅读

相关走向云计算之Hadoop数据同步框架Sqoop

一、概述 Sqoop即SQL-to-Hadoop，是连接传统关系型数据库和Hadoop 的桥梁，用于把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS HB

男娘i/ 2022年06月14日 11:36/ 0 赞/ 318 阅读

相关数据迁移工具sqoop入门

\[b\]\[color=olive\]\[size=large\]首先，先简单说明下sqoop是什么，sqoop 即 SQL to Hadoop ，是一款方便的在传统型数据库

迷南。/ 2022年04月21日 14:22/ 0 赞/ 252 阅读

相关数据迁移框架sqoop

数据迁移框架sqoop 一、启动Hadoop集群并连接测试 1.1 查看并启动Zookeeper服务 ![在这里插入图片描述][20190606122143356

不念不忘少年蓝@/ 2022年01月22日 12:59/ 0 赞/ 406 阅读

相关 Hadoop Sqoop

一、概述： Sqoop是一款开源的工具，主要用于在Hadoop(如Hive、HDFS)与传统的数据库(mysql、Oracle ...)间进行数据的传递，可以将一个关系型数据

古城微笑少年丶/ 2022年01月17日 04:17/ 0 赞/ 260 阅读

相关 Sqoop---数据迁移工具

[https://blog.csdn.net/u012453843/article/details/52951120][https_blog.csdn.net_u0124538

妖狐艹你老母/ 2021年12月09日 05:55/ 0 赞/ 325 阅读

相关 Sqoop数据迁移工具

[Sqoop 官方文档][Sqoop] 目录 1. Sqoop 数据导入 1.1. 导入 MySQL 数据到 HDFS 1.1.1. 普通导入

悠悠/ 2021年09月23日 07:26/ 0 赞/ 448 阅读