kettle 教程（一）：简介及入门

我不是女神ヾ 2021-10-15 06:41 622阅读 0赞

介绍  
kettle 是纯 java 开发，开源的 ETL工具，用于数据库间的数据迁移 。可以在 Linux、windows、unix 中运行。有图形界面，也有命令脚本还可以二次开发。

kettle 的官网是 [https://community.hitachivantara.com/docs/DOC-1009855，github][https_community.hitachivantara.com_docs_DOC-1009855_github] 地址是 [https://github.com/pentaho/pentaho-kettle。][https_github.com_pentaho_pentaho-kettle]

## 安装 ##

这边以 windows 下的配置为例，linux 下配置类似。

## jdk 安装及配置环境变量 ##

由于 kettle 是基于 java 的，因此需要安装 java 环境，并配置 JAVA\_HOME 环境变量。

建议安装 JDK1.8 及以上，7.0以后版本的 kettle 不支持低版本 JDK。

## 下载 kettle ##

从 官网 下载 kettle ，解压到本地即可。

## 下载相应的数据库驱动 ##

由于 kettle 需要连接数据库，因此需要下载对应的数据库驱动。

例如 MySQL 数据库需要下载 mysql-connector-java.jar，oracle 数据库需要下载 ojdbc.jar。下载完成后，将 jar 放入 kettle 解压后路径的 lib 文件夹中即可。

注意：本文基于 pdi-ce-7.0.0.0-25 版本进行介绍，低版本可能有区别。

## 启动 ##

双击 Spoon.bat 就能启动 kettle 。

## 转换 ##

转换包括一个或多个步骤，步骤之间通过跳（hop）来连接。跳定义了一个单向通道，允许数据从一个步骤流向另一个步骤。在Kettle中，数据的单位是行，数据流就是数据行从一个步骤到另一个步骤的移动。

#### 1、打开 kettle，点击 文件->新建->转换。 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70]

#### 2、在左边 DB 连接处点击新建。 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 1]

#### 3、根据提示配置数据库，配置完成后可以点击测试进行验证，这边以 MySQL 为例。 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 2]

#### 4、在左侧找到表输入（核心对象->输入->表输入），拖到右方。 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 3]

#### 5、双击右侧表输入，进行配置，选择数据源，并输入 SQL。可以点击预览进行预览数据。 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 4]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 5]

#### 6、在左侧找到插入/更新（核心对象->输出->插入/更新），拖到右方。 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 6]

#### 7、按住 Shift 键，把表输入和插入/更新用线连接起来。 ####

![在这里插入图片描述][20190813134323215.png]

#### 8、双击插入/更新进行配置。 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 7]

#### 9、点击运行，就可以运行这一个转换。 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 8]

#### 10、运行结束后，我们可以在下方看到运行结果，其中有日志，数据预览等，我们可以看到一共读取了多少条数据，插入更新了多少数据等等。 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 9]

这样就完成了一个最简单的转换，从一个表取数据，插入更新到另一个表。

## 作业 ##

#### 如果想要定时运行这个转换，那么就要用到作业。 ####

#### 1、新建一个作业。 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 10]

#### 2、从左侧依次拖动 START 、转换、成功到右侧，并用线连接起来。 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 11]

#### 3、双击 START，可以配置作业的运行间隔，这边配置了每小时运行一次。 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 12]

#### 4、双击转换，选择之前新建的那个转换。 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 13]

#### 5、点击运行，就能运行这次作业，点击停止就能停止。在下方执行结果，可以看到运行的日志。 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 14]

这样就完成了一个最简单的作业，每隔1小时，将源表的数据迁移到目标表。

总结  
kettle 是一个非常强大的 ETL 工具，通过图形化界面的配置，可以实现数据迁移，并不用开发代码。

通过它的作业，kettle 能自动地运行转换。

参考 [https://blog.csdn.net/qqfo24/article/details/82190535][https_blog.csdn.net_qqfo24_article_details_82190535]

[https_community.hitachivantara.com_docs_DOC-1009855_github]: https://community.hitachivantara.com/docs/DOC-1009855%EF%BC%8Cgithub
[https_github.com_pentaho_pentaho-kettle]: https://github.com/pentaho/pentaho-kettle%E3%80%82
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70]: /images/20211015/4ec62dd76b244e25b9cf92c4b3c0dab9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 1]: /images/20211015/5b0089f82f4b4fb9bbba4216e10217a3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 2]: /images/20211015/330a6537c988483eb91945a8219d5901.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 3]: /images/20211015/cdbc71c35bee4da3a00db75afecae4ae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 4]: /images/20211015/01e0ad4b04ad4c98ac96869a337e1d35.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 5]: /images/20211015/c026358fd6eb4252a120c5c356087768.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 6]: /images/20211015/a7130ac9736f41c2888f483c6a88f4de.png
[20190813134323215.png]: /images/20211015/b9276022b16246e182393dae15cdfd7f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 7]: /images/20211015/4d7802f75dc84e32bc7e4b6f3b297ae4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 8]: /images/20211015/41d4f53b380043c0b4a1f5576832ef9b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 9]: /images/20211015/2c9486400c974d39915ceb66e4eab073.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 10]: /images/20211015/16339647b33747bfa5e664730441ed21.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 11]: /images/20211015/23e54582c03b4cd5bb3998352b69b8f0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 12]: /images/20211015/6f9566e5690d4158823f5f0f2b4ed733.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 13]: /images/20211015/3a5c7352426949e181be8477ebcf3530.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDkzNTU2_size_16_color_FFFFFF_t_70 14]: /images/20211015/191627a2f16c49089ff3f1ce3ea5153f.png
[https_blog.csdn.net_qqfo24_article_details_82190535]: https://blog.csdn.net/qqfo24/article/details/82190535