[JDBC] Kettle on MaxCompute 使用指南

一时失言乱红尘 2023-01-24 02:09 90阅读 0赞

**简介：** Kettle是一款开源的ETL工具，纯Java实现，可以在Windows、Unix和Linux上运行，提供图形化的操作界面，可以通过拖拽控件的方式，方便地定义数据传输的拓扑 。基本讲介绍基于Kettle的MaxCompute插件实现数据上云。

Kettle版本：8.2.0.0-342

MaxCompute JDBC driver版本：3.2.8

# Setup #

1.  下载并安装Kettle
2.  下载MaxCompute JDBC driver
3.  将MaxCompute JDBC driver置于Kettle安装目录下的lib子目录（data-integration/lib）
4.  下载并编译MaxCompute Kettle plugin：[https://github.com/aliyun/aliyun-maxcompute-data-collectors][https_github.com_aliyun_aliyun-maxcompute-data-collectors]
5.  将编译后的MaxCompute Kettle plugin置于Kettle安装目录下的lib子目录（data-integration/lib）
6.  启动spoon

# Job #

我们可以通过Kettle + MaxCompute JDBC driver来实现对MaxCompute中任务的组织和执行。

首先需要执行以下操作：

1.  新建Job
2.  新建Database Connection  
    JDBC连接串格式为：jdbc:odps:?project=  
    JDBC driver class为：com.aliyun.odps.jdbc.OdpsDriver  
    Username为阿里云AccessKey Id  
    Password为阿里云AccessKey Secret  
    JDBC更多配置见：[https://help.aliyun.com/document\_detail/161246.html][https_help.aliyun.com_document_detail_161246.html]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bnFpaW5zaWdodA_size_16_color_FFFFFF_t_70][]

之后，可以根据业务需要，通过SQL节点访问MaxCompute。下面我们以一个简单的ETL过程为例：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bnFpaW5zaWdodA_size_16_color_FFFFFF_t_70 1][]

Create table节点的配置如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bnFpaW5zaWdodA_size_16_color_FFFFFF_t_70 2][]

需要注意：

1.  这里Connection需要选择我们配置好的
2.  不要勾选Send SQL as single statement

Load from OSS节点配置如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bnFpaW5zaWdodA_size_16_color_FFFFFF_t_70 3][]

需要注意的点同Create table节点。有关更多Load的用法，见：[https://help.aliyun.com/document\_detail/157418.html][https_help.aliyun.com_document_detail_157418.html]

Processing节点配置如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bnFpaW5zaWdodA_size_16_color_FFFFFF_t_70 4][]

需要注意的点同Create table节点。

# Transformation #

我们可以通过MaxCompute Kettle plugin实现数据流出或流入MaxCompute。

首先新建Transformation，之后新建Aliyun MaxCompute Input节点，配置如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bnFpaW5zaWdodA_size_16_color_FFFFFF_t_70 5][]

在MaxCompute中新建一张空表，schema与test\_partition\_table一致。

新建Aliyun MaxCompute Output节点，配置如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bnFpaW5zaWdodA_size_16_color_FFFFFF_t_70 6][]

执行Transformation，数据便从test\_partition\_table被下载，后被上传至test\_partition\_table\_2。

# 其他 #

## 设置MaxCompute flags ##

如图，在执行DDL/DML/SQL之前，可以通过set key=value;的方式配置flags。![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bnFpaW5zaWdodA_size_16_color_FFFFFF_t_70 7][]

## Script模式 ##

暂时无法支持

[原文链接][Link 1]

本文为阿里云原创内容，未经允许不得转载。

[https_github.com_aliyun_aliyun-maxcompute-data-collectors]: https://github.com/aliyun/aliyun-maxcompute-data-collectors
[https_help.aliyun.com_document_detail_161246.html]: https://help.aliyun.com/document_detail/161246.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bnFpaW5zaWdodA_size_16_color_FFFFFF_t_70]: /images/20221004/d7981f6a0f7041848e0e9b271ebe7d6a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bnFpaW5zaWdodA_size_16_color_FFFFFF_t_70 1]: /images/20221004/9a98238eaecf4ba19b0dbe32198cb023.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bnFpaW5zaWdodA_size_16_color_FFFFFF_t_70 2]: /images/20221004/d57b41d8dad0490387dde77fa4be09b5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bnFpaW5zaWdodA_size_16_color_FFFFFF_t_70 3]: /images/20221004/46d5787b0de942fc8b7048ef0c1581d6.png
[https_help.aliyun.com_document_detail_157418.html]: https://help.aliyun.com/document_detail/157418.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bnFpaW5zaWdodA_size_16_color_FFFFFF_t_70 4]: /images/20221004/a9806d6384e449618a74d07a999c843d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bnFpaW5zaWdodA_size_16_color_FFFFFF_t_70 5]: /images/20221004/90e99d2d9d77490fa0e3fc19e32e8eb9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bnFpaW5zaWdodA_size_16_color_FFFFFF_t_70 6]: /images/20221004/cf94c95a779e4ca2a4aa40a539199fb9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bnFpaW5zaWdodA_size_16_color_FFFFFF_t_70 7]: /images/20221004/5f061b29b63b40deac59eecdc00f8420.png
[Link 1]: http://click.aliyun.com/m/1000284018/