Sqoop和Datax

深碍√TFBOYSˉ_ 2023-06-11 12:27 2阅读 0赞

**Table of Contents**

Sqoop

基本用法

Datax

优势

框架设计

架构图

支持的数据源

参考

--------------------

## Sqoop ##

Sqoop 是一种用于在 Hadoop 和关系数据库或大型机之间传输数据的工具。可以使用 Sqoop 将数据从关系型数据库管理系统(RDBMS)(如MySQL或Oracle或大型机)导入 Hadoop 分布式文件系统(HDFS)，在 Hadoop MapReduce 中转换数据，然后将数据导出回 RDBMS。

Sqoop 自动化了这个过程的大部分，它依赖于数据库来描述要导入的数据的模式。Sqoop 使用 MapReduce 导入和导出数据，提供并行操作和容错功能。

### 基本用法 ###

对于数据库，Sqoop 将逐行将表读入 HDFS。对于大型机数据集，Sqoop 将从每个大型机数据集读取记录到 HDFS。此导入过程的输出是一组文件，其中包含导入的表或数据集的副本。导入过程是并行执行的。由于这个原因，输出将在多个文件中。这些文件可以是分隔的文本文件(例如，用逗号或制表符分隔)

导入过程的一个副产品是生成的 Java 类，该类可以封装导入表的一行。这个类在导入过程中由 Sqoop 本身使用。这个类的 Java 源代码也提供给使用者，以便在后续的 MapReduce 数据处理中使用。这个类可以在 SequenceFile 格式之间序列化和反序列化数据。它还可以解析记录的分隔文本形式。这些功能允许用户快速开发使用处理管道中存储的 hdfs 记录的 MapReduce 应用程序。还可以自由地解析分隔符。

在操作导入的记录(例如，使用 MapReduce 或 Hive)之后，可能会得到一个结果数据集，然后可以将其导出回关系数据库。Sqoop 的导出过程将并行地从 HDFS 中读取一组分隔的文本文件，将它们解析为记录，并将它们作为新行插入目标数据库表中，供外部应用程序或用户使用。

Sqoop 包含一些其他命令，允许您检查正在使用的数据库。例如，可以列出可用的数据库模式(使用 sqoop -list-databases 工具)和模式中的表(使用 sqoop -list-tables工具)。Sqoop 还包括一个基本的 SQL 执行 shell ( sqoop -eval 工具)。

导入、代码生成和导出过程的大多数方面都可以定制。对于数据库，可以控制导入的特定行范围或列。可以为基于文件的数据表示以及使用的文件格式指定特定的分隔符和转义字符。还可以控制生成代码中使用的类或包名。

$ sqoop help
    usage: sqoop COMMAND [ARGS]
    
    Available commands:
      codegen            生成与数据库记录交互的代码
      create-hive-table  将表定义导入到Hive中
      eval               计算一个SQL语句并显示结果
      export             将HDFS目录导出到数据库表
      help               可用命令列表
      import             将表从数据库导入到HDFS
      import-all-tables  将表从数据库导入到HDFS
      import-mainframe   将大型机数据集导入到HDFS
      list-databases     列出服务器上可用的数据库
      list-tables        列出数据库中可用的表
      version            版本信息
    
    See 'sqoop help COMMAND' for information on a specific command.

## Datax ##

### 优势 ###

*  可靠的数据质量监控
 *  丰富的数据转换功能
 *  精准的速度控制
 *  强劲的同步性能
 *  健壮的容错机制
 *  极简的使用体验

### 框架设计 ###

DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。

*  Reader：Reader 为数据采集模块，负责采集数据源的数据，将数据发送给 Framework。
 *  Writer： Writer 为数据写入模块，负责不断向 Framework 取数据，并将数据写入到目的端。
 *  Framework：Framework 用于连接 reader 和 writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。

### 架构图 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwZl85NDA4MTA2NTM4NDI_size_16_color_FFFFFF_t_70][]

### 支持的数据源 ###

<table> 
 <thead> 
  <tr> 
   <th style="width:188px;">类型</th> 
   <th style="width:273px;">数据源</th> 
   <th style="width:156px;">Reader(读)</th> 
   <th style="width:147px;">Writer(写)</th> 
   <th>文档</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="width:188px;">RDBMS 关系型数据库</td> 
   <td style="width:273px;">MySQL</td> 
   <td style="width:156px;">√</td> 
   <td style="width:147px;">√</td> 
   <td><a href="https://github.com/alibaba/DataX/blob/master/mysqlreader/doc/mysqlreader.md" rel="nofollow">读</a> 、<a href="https://github.com/alibaba/DataX/blob/master/mysqlwriter/doc/mysqlwriter.md" rel="nofollow">写</a></td> 
  </tr> 
  <tr> 
   <td style="width:188px;">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;</td> 
   <td style="width:273px;">Oracle &nbsp; &nbsp;</td> 
   <td style="width:156px;">&nbsp; &nbsp; √ &nbsp; &nbsp;</td> 
   <td style="width:147px;">&nbsp; &nbsp; √ &nbsp; &nbsp;</td> 
   <td><a href="https://github.com/alibaba/DataX/blob/master/oraclereader/doc/oraclereader.md" rel="nofollow">读</a> 、<a href="https://github.com/alibaba/DataX/blob/master/oraclewriter/doc/oraclewriter.md" rel="nofollow">写</a></td> 
  </tr> 
  <tr> 
   <td style="width:188px;">&nbsp;</td> 
   <td style="width:273px;">SQLServer</td> 
   <td style="width:156px;">√</td> 
   <td style="width:147px;">√</td> 
   <td><a href="https://github.com/alibaba/DataX/blob/master/sqlserverreader/doc/sqlserverreader.md" rel="nofollow">读</a> 、<a href="https://github.com/alibaba/DataX/blob/master/sqlserverwriter/doc/sqlserverwriter.md" rel="nofollow">写</a></td> 
  </tr> 
  <tr> 
   <td style="width:188px;">&nbsp;</td> 
   <td style="width:273px;">PostgreSQL</td> 
   <td style="width:156px;">√</td> 
   <td style="width:147px;">√</td> 
   <td><a href="https://github.com/alibaba/DataX/blob/master/postgresqlreader/doc/postgresqlreader.md" rel="nofollow">读</a> 、<a href="https://github.com/alibaba/DataX/blob/master/postgresqlwriter/doc/postgresqlwriter.md" rel="nofollow">写</a></td> 
  </tr> 
  <tr> 
   <td style="width:188px;">&nbsp;</td> 
   <td style="width:273px;">DRDS</td> 
   <td style="width:156px;">√</td> 
   <td style="width:147px;">√</td> 
   <td><a href="https://github.com/alibaba/DataX/blob/master/drdsreader/doc/drdsreader.md" rel="nofollow">读</a> 、<a href="https://github.com/alibaba/DataX/blob/master/drdswriter/doc/drdswriter.md" rel="nofollow">写</a></td> 
  </tr> 
  <tr> 
   <td style="width:188px;">&nbsp;</td> 
   <td style="width:273px;">通用RDBMS(支持所有关系型数据库)</td> 
   <td style="width:156px;">√</td> 
   <td style="width:147px;">√</td> 
   <td><a href="https://github.com/alibaba/DataX/blob/master/rdbmsreader/doc/rdbmsreader.md" rel="nofollow">读</a> 、<a href="https://github.com/alibaba/DataX/blob/master/rdbmswriter/doc/rdbmswriter.md" rel="nofollow">写</a></td> 
  </tr> 
  <tr> 
   <td style="width:188px;">阿里云数仓数据存储</td> 
   <td style="width:273px;">ODPS</td> 
   <td style="width:156px;">√</td> 
   <td style="width:147px;">√</td> 
   <td><a href="https://github.com/alibaba/DataX/blob/master/odpsreader/doc/odpsreader.md" rel="nofollow">读</a> 、<a href="https://github.com/alibaba/DataX/blob/master/odpswriter/doc/odpswriter.md" rel="nofollow">写</a></td> 
  </tr> 
  <tr> 
   <td style="width:188px;">&nbsp;</td> 
   <td style="width:273px;">ADS</td> 
   <td style="width:156px;">&nbsp;</td> 
   <td style="width:147px;">√</td> 
   <td><a href="https://github.com/alibaba/DataX/blob/master/adswriter/doc/adswriter.md" rel="nofollow">写</a></td> 
  </tr> 
  <tr> 
   <td style="width:188px;">&nbsp;</td> 
   <td style="width:273px;">OSS</td> 
   <td style="width:156px;">√</td> 
   <td style="width:147px;">√</td> 
   <td><a href="https://github.com/alibaba/DataX/blob/master/ossreader/doc/ossreader.md" rel="nofollow">读</a> 、<a href="https://github.com/alibaba/DataX/blob/master/osswriter/doc/osswriter.md" rel="nofollow">写</a></td> 
  </tr> 
  <tr> 
   <td style="width:188px;">&nbsp;</td> 
   <td style="width:273px;">OCS</td> 
   <td style="width:156px;">√</td> 
   <td style="width:147px;">√</td> 
   <td><a href="https://github.com/alibaba/DataX/blob/master/ocsreader/doc/ocsreader.md" rel="nofollow">读</a> 、<a href="https://github.com/alibaba/DataX/blob/master/ocswriter/doc/ocswriter.md" rel="nofollow">写</a></td> 
  </tr> 
  <tr> 
   <td style="width:188px;">NoSQL数据存储</td> 
   <td style="width:273px;">OTS</td> 
   <td style="width:156px;">√</td> 
   <td style="width:147px;">√</td> 
   <td><a href="https://github.com/alibaba/DataX/blob/master/otsreader/doc/otsreader.md" rel="nofollow">读</a> 、<a href="https://github.com/alibaba/DataX/blob/master/otswriter/doc/otswriter.md" rel="nofollow">写</a></td> 
  </tr> 
  <tr> 
   <td style="width:188px;">&nbsp;</td> 
   <td style="width:273px;">Hbase0.94</td> 
   <td style="width:156px;">√</td> 
   <td style="width:147px;">√</td> 
   <td><a href="https://github.com/alibaba/DataX/blob/master/hbase094xreader/doc/hbase094xreader.md" rel="nofollow">读</a> 、<a href="https://github.com/alibaba/DataX/blob/master/hbase094xwriter/doc/hbase094xwriter.md" rel="nofollow">写</a></td> 
  </tr> 
  <tr> 
   <td style="width:188px;">&nbsp;</td> 
   <td style="width:273px;">Hbase1.1</td> 
   <td style="width:156px;">√</td> 
   <td style="width:147px;">√</td> 
   <td><a href="https://github.com/alibaba/DataX/blob/master/hbase11xreader/doc/hbase11xreader.md" rel="nofollow">读</a> 、<a href="https://github.com/alibaba/DataX/blob/master/hbase11xwriter/doc/hbase11xwriter.md" rel="nofollow">写</a></td> 
  </tr> 
  <tr> 
   <td style="width:188px;">&nbsp;</td> 
   <td style="width:273px;">Phoenix4.x</td> 
   <td style="width:156px;">√</td> 
   <td style="width:147px;">√</td> 
   <td><a href="https://github.com/alibaba/DataX/blob/master/hbase11xsqlreader/doc/hbase11xsqlreader.md" rel="nofollow">读</a> 、<a href="https://github.com/alibaba/DataX/blob/master/hbase11xsqlwriter/doc/hbase11xsqlwriter.md" rel="nofollow">写</a></td> 
  </tr> 
  <tr> 
   <td style="width:188px;">&nbsp;</td> 
   <td style="width:273px;">Phoenix5.x</td> 
   <td style="width:156px;">√</td> 
   <td style="width:147px;">√</td> 
   <td><a href="https://github.com/alibaba/DataX/blob/master/hbase20xsqlreader/doc/hbase20xsqlreader.md" rel="nofollow">读</a> 、<a href="https://github.com/alibaba/DataX/blob/master/hbase20xsqlwriter/doc/hbase20xsqlwriter.md" rel="nofollow">写</a></td> 
  </tr> 
  <tr> 
   <td style="width:188px;">&nbsp;</td> 
   <td style="width:273px;">MongoDB</td> 
   <td style="width:156px;">√</td> 
   <td style="width:147px;">√</td> 
   <td><a href="https://github.com/alibaba/DataX/blob/master/mongoreader/doc/mongoreader.md" rel="nofollow">读</a> 、<a href="https://github.com/alibaba/DataX/blob/master/mongowriter/doc/mongowriter.md" rel="nofollow">写</a></td> 
  </tr> 
  <tr> 
   <td style="width:188px;">&nbsp;</td> 
   <td style="width:273px;">Hive</td> 
   <td style="width:156px;">√</td> 
   <td style="width:147px;">√</td> 
   <td><a href="https://github.com/alibaba/DataX/blob/master/hdfsreader/doc/hdfsreader.md" rel="nofollow">读</a> 、<a href="https://github.com/alibaba/DataX/blob/master/hdfswriter/doc/hdfswriter.md" rel="nofollow">写</a></td> 
  </tr> 
  <tr> 
   <td style="width:188px;">&nbsp;</td> 
   <td style="width:273px;">Cassandra</td> 
   <td style="width:156px;">√</td> 
   <td style="width:147px;">√</td> 
   <td><a href="https://github.com/alibaba/DataX/blob/master/cassandrareader/doc/cassandrareader.md" rel="nofollow">读</a> 、<a href="https://github.com/alibaba/DataX/blob/master/cassandrawriter/doc/cassandrawriter.md" rel="nofollow">写</a></td> 
  </tr> 
  <tr> 
   <td style="width:188px;">无结构化数据存储</td> 
   <td style="width:273px;">TxtFile</td> 
   <td style="width:156px;">√</td> 
   <td style="width:147px;">√</td> 
   <td><a href="https://github.com/alibaba/DataX/blob/master/txtfilereader/doc/txtfilereader.md" rel="nofollow">读</a> 、<a href="https://github.com/alibaba/DataX/blob/master/txtfilewriter/doc/txtfilewriter.md" rel="nofollow">写</a></td> 
  </tr> 
  <tr> 
   <td style="width:188px;">&nbsp;</td> 
   <td style="width:273px;">FTP</td> 
   <td style="width:156px;">√</td> 
   <td style="width:147px;">√</td> 
   <td><a href="https://github.com/alibaba/DataX/blob/master/ftpreader/doc/ftpreader.md" rel="nofollow">读</a> 、<a href="https://github.com/alibaba/DataX/blob/master/ftpwriter/doc/ftpwriter.md" rel="nofollow">写</a></td> 
  </tr> 
  <tr> 
   <td style="width:188px;">&nbsp;</td> 
   <td style="width:273px;">HDFS</td> 
   <td style="width:156px;">√</td> 
   <td style="width:147px;">√</td> 
   <td><a href="https://github.com/alibaba/DataX/blob/master/hdfsreader/doc/hdfsreader.md" rel="nofollow">读</a> 、<a href="https://github.com/alibaba/DataX/blob/master/hdfswriter/doc/hdfswriter.md" rel="nofollow">写</a></td> 
  </tr> 
  <tr> 
   <td style="width:188px;">&nbsp;</td> 
   <td style="width:273px;">Elasticsearch</td> 
   <td style="width:156px;">&nbsp;</td> 
   <td style="width:147px;">√</td> 
   <td><a href="https://github.com/alibaba/DataX/blob/master/elasticsearchwriter/doc/elasticsearchwriter.md" rel="nofollow">写</a></td> 
  </tr> 
  <tr> 
   <td style="width:188px;">时间序列数据库</td> 
   <td style="width:273px;">OpenTSDB</td> 
   <td style="width:156px;">√</td> 
   <td style="width:147px;">&nbsp;</td> 
   <td><a href="https://github.com/alibaba/DataX/blob/master/opentsdbreader/doc/opentsdbreader.md" rel="nofollow">读</a></td> 
  </tr> 
  <tr> 
   <td style="width:188px;">&nbsp;</td> 
   <td style="width:273px;">TSDB</td> 
   <td style="width:156px;">&nbsp;</td> 
   <td style="width:147px;">√</td> 
   <td><a href="https://github.com/alibaba/DataX/blob/master/tsdbwriter/doc/tsdbhttpwriter.md" rel="nofollow">写</a></td> 
  </tr> 
 </tbody> 
</table>

## 参考 ##

[http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html][http_sqoop.apache.org_docs_1.4.7_SqoopUserGuide.html]

[https://github.com/alibaba/DataX/blob/master/introduction.md][https_github.com_alibaba_DataX_blob_master_introduction.md]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwZl85NDA4MTA2NTM4NDI_size_16_color_FFFFFF_t_70]: /images/20230531/a416acc941cf4ef1bb8da47e26d555f4.png
[http_sqoop.apache.org_docs_1.4.7_SqoopUserGuide.html]: http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html
[https_github.com_alibaba_DataX_blob_master_introduction.md]: https://github.com/alibaba/DataX/blob/master/introduction.md