Kettle on MaxCompute使用指南

我会带着你远行 2022-09-04 01:58 152阅读 0赞

**简介：** Kettle是一款开源的ETL工具，纯java实现，可以运行于Windows, Unix, Linux上运行，提供图形化的操作界面，可以通过拖拽控件的方式，方便地定义数据传输的拓扑。Kettle支持丰富的数据输入输出源，数据库支持Oracle，MySql，DB2等，也支持业界各种开源的大数据系统，例如HDFS, HBase, Cassandra, MongoDB等。本文将介绍如何利用MaxCompute的插件无缝对接阿里云的大数据计算平台——MaxCompute。

<table> 
 <tbody> 
  <tr> 
   <td colspan="2"> <p><strong>本示例使用的工具及驱动版本</strong></p> </td> 
  </tr> 
  <tr> 
   <td> <p>Kettle</p> </td> 
   <td> <p>8.2.0.0-342</p> </td> 
  </tr> 
  <tr> 
   <td> <p>MaxCompute JDBC驱动</p> </td> 
   <td> <p>v3.2.8</p> </td> 
  </tr> 
 </tbody> 
</table>

# Setup #

1.  下载并安装Kettle
2.  下载MaxCompute JDBC driver
3.  将MaxCompute JDBC driver置于Kettle安装目录下的lib子目录（data-integration/lib）
4.  启动spoon

# Job #

我们可以通过Kettle + MaxCompute JDBC driver来实现对MaxCompute中任务的组织和执行。

首先需要执行以下操作：

1.  新建Job
2.  新建Database Connection  
    JDBC连接串格式为：jdbc:odps:<maxcompute\_endpoint>?project=<maxcompute\_project\_name>  
    JDBC driver class为：com.aliyun.odps.jdbc.OdpsDriver  
    Username为阿里云AccessKey Id  
    Password为阿里云AccessKey Secret  
    JDBC更多配置见：[https://help.aliyun.com/document\_detail/161246.html][https_help.aliyun.com_document_detail_161246.html]

![01.png][]

之后，可以根据业务需要，通过SQL节点访问MaxCompute。下面我们以一个简单的ETL过程为例：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bnFpaW5zaWdodA_size_16_color_FFFFFF_t_70][]

Create table节点的配置如下：

需要注意：

1.  这里Connection需要选择我们配置好的
2.  不要勾选Send SQL as single statement

Load from OSS节点配置如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bnFpaW5zaWdodA_size_16_color_FFFFFF_t_70 1][]

需要注意的点同Create table节点。有关更多Load的用法，见：[https://help.aliyun.com/document\_detail/157418.html][https_help.aliyun.com_document_detail_157418.html]

Processing节点配置如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bnFpaW5zaWdodA_size_16_color_FFFFFF_t_70 2][]

需要注意的点同Create table节点。

[原文链接][Link 1]  
本文为阿里云原创内容，未经允许不得转载。

[https_help.aliyun.com_document_detail_161246.html]: https://help.aliyun.com/document_detail/161246.html
[01.png]: /images/20220829/01fee09785bb4428ba8e34d1ba3bd739.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bnFpaW5zaWdodA_size_16_color_FFFFFF_t_70]: /images/20220829/1ea22a25a3074ae2953f8c39df4f048d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bnFpaW5zaWdodA_size_16_color_FFFFFF_t_70 1]: /images/20220829/3e815582d69c4e579301ff3201b2b151.png
[https_help.aliyun.com_document_detail_157418.html]: https://help.aliyun.com/document_detail/157418.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bnFpaW5zaWdodA_size_16_color_FFFFFF_t_70 2]: /images/20220829/a397262401c34bd7996544709112b795.png
[Link 1]: http://click.aliyun.com/m/1000288427/