kettle7.1的基本使用总结

红太狼 2023-09-27 23:47 14阅读 0赞

### 简介 ###

Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。

Kettle家族目前包括4个产品：Spoon、Pan、CHEF、Kitchen。

**SPOON** 允许你通过图形界面来设计ETL转换过程（Transformation）。

**PAN** 允许你批量运行由Spoon设计的ETL转换 (例如使用一个时间调度器)。Pan是一个后台执行的程序，没有图形界面。

**CHEF** 允许你创建任务（Job）。 任务通过允许每个转换，任务，脚本等等，更有利于自动化更新数据仓库的复杂工作。任务通过允许每个转换，任务，脚本等等。任务将会被检查，看看是否正确地运行了。

**KITCHEN** 允许你批量使用由Chef设计的任务 (例如使用一个时间调度器)。KITCHEN也是一个后台运行的程序。

我们主要讲解spoon。

> 欢迎关注个人公众号【好好学技术】交流学习

### 一、配置仓库管理 ###

点击右上角配置数据存储位置

![format_png][]

点击Repository Manager…

![format_png 1][]

数据库存储则是将所创建的文件保存到数据库，这样可以保证数据的安全性。（长时间的传输可能出现数据库连接超时）。

文件存储则是将文件保存到本地磁盘，两种可视情况而定。

### 二、转换的使用 ###

配置BD连接，必须先把数据库连接的jar包放在kettle安装目录下的lib包。如：mysql-connector-java-5.1.38.jar

如下：配置了一个oracle和一个mysql的数据库

![format_png 2][]

![format_png 3][]

新建一个转换： 文件 —> 新建 —> 转换

![format_png 4][]

简单的数据转换最常用的就是CSV文件输入和表输入两种了，其他的可以在作业中用到。

![format_png 5][]

输出有以上几种，下面我们示范一个从数据库读取数据，输出一个csv文件。

![format_png 6][]

写完后点击预览查看是否正确

![format_png 7][]

下面看文本文件输出

![format_png 8][]

![format_png 9][]

![format_png 10][]

点击执行，生成csv文本

![format_png 11][]

### 三、作业 ###

比如说我们要同时同步五张表的数据则可以新建一个作业，多线程去同步五张表的数据

![format_png 12][]

### 四、定时执行任务 ###

我们将作业保存在数据库中，windows下一般用任务调度来执行，linux可以用crotable实现

新建一个bat文件

![format_png 13][]

然后将这个bat文件添加到windows定时任务中就可以了

### 五、java代码 ###

kettle也支持java代码及js脚本等

![format_png 14][]

![format_png 15][]

假设有表person,有字段id,name,code,若code为空，则取name,若不为空加上999，然后更新原表数据。

![format_png 16][]

表输入如下：

![format_png 17][]

Java代码如下：

![format_png 18][]

更新如下：

![format_png 19][]

执行成功后查看数据库数据：

![format_png 20][]

### 六、性能优化 ###

Oracle:

defaultRowPrefetch = 20000 （可以根据内存情况定）

预取条数默认值,oracle默认为10，可以增加该值来减少数据库请求以提高查询效率

![format_png 21][]

Mysql:

![format_png 22][]

defaultFetchSize：设置一次读取多少条数据，不设置读大表可能会出现OOM问题

rewriteBatchedStatements：批量插入，可以提高插入数据的性能

useServerPrepStmts：如果服务器支持，是否使用服务器端预处理语句？ 默认值为“真”（如果数据类型不一 致，可能会出现丢失精度问题）

useCursorFetch：使用FetchSize必须启用

useCompression：与服务器进行通信时采用zlib压缩（真／假）？ 默认值为“假”。

![format_png 23][]

提交数量可以根据内存情况尽量给大，最大5W条。

根据电脑内存修改spoon.bat

PENTAHO\_DI\_JAVA\_OPTIONS="-Xms8192m""-Xmx8192m" "-XX:MaxPermSize=4096m"

[format_png]: https://img-blog.csdnimg.cn/img_convert/2145e9a4028c552276267da291468e25.webp?x-oss-process=image/format,png
[format_png 1]: https://img-blog.csdnimg.cn/img_convert/aa63b27e04f6d323f66fd3f8eff25094.webp?x-oss-process=image/format,png
[format_png 2]: https://img-blog.csdnimg.cn/img_convert/835a75b6dfb14b48b97aa4a9a3cefaad.webp?x-oss-process=image/format,png
[format_png 3]: https://img-blog.csdnimg.cn/img_convert/772b4690c4872785598ca67da0d3b49c.webp?x-oss-process=image/format,png
[format_png 4]: https://img-blog.csdnimg.cn/img_convert/5597fa0e05d208ffa3cbc7822025d1dd.webp?x-oss-process=image/format,png
[format_png 5]: https://img-blog.csdnimg.cn/img_convert/2cfbb146615b8027c405d4cf5b09480e.webp?x-oss-process=image/format,png
[format_png 6]: https://img-blog.csdnimg.cn/img_convert/04e0ac1e2487271b0b7278973dddcc09.webp?x-oss-process=image/format,png
[format_png 7]: https://img-blog.csdnimg.cn/img_convert/28308f05fc24592edd8a58ebd7163275.webp?x-oss-process=image/format,png
[format_png 8]: https://img-blog.csdnimg.cn/img_convert/c87da53b547e08ef30d373ae57febc87.webp?x-oss-process=image/format,png
[format_png 9]: https://img-blog.csdnimg.cn/img_convert/120cfe52434e5892191f404edb6e02b5.webp?x-oss-process=image/format,png
[format_png 10]: https://img-blog.csdnimg.cn/img_convert/519c3f3fc8486fce8d4ad2907c56ceec.webp?x-oss-process=image/format,png
[format_png 11]: https://img-blog.csdnimg.cn/img_convert/9f0e4a095722785bf8ad2c0288c44a79.webp?x-oss-process=image/format,png
[format_png 12]: https://img-blog.csdnimg.cn/img_convert/96fef0454783693319228ac600fa7b34.webp?x-oss-process=image/format,png
[format_png 13]: https://img-blog.csdnimg.cn/img_convert/e1dfc1711532129c1365c2dfc47ffdc2.webp?x-oss-process=image/format,png
[format_png 14]: https://img-blog.csdnimg.cn/img_convert/20ca42003969e363ca63d6ce59175efe.webp?x-oss-process=image/format,png
[format_png 15]: https://img-blog.csdnimg.cn/img_convert/6767195c47c6860399bfd43bbd481d92.webp?x-oss-process=image/format,png
[format_png 16]: https://img-blog.csdnimg.cn/img_convert/695d4ceeb136f8219ef60c320779dcb2.webp?x-oss-process=image/format,png
[format_png 17]: https://img-blog.csdnimg.cn/img_convert/70b3b47def99e88820821ccd3b8e6c0e.webp?x-oss-process=image/format,png
[format_png 18]: https://img-blog.csdnimg.cn/img_convert/9433cc42389446e7cc7f057a454366ea.webp?x-oss-process=image/format,png
[format_png 19]: https://img-blog.csdnimg.cn/img_convert/5dd888390b780d18a7b5a7f31b6bae02.webp?x-oss-process=image/format,png
[format_png 20]: https://img-blog.csdnimg.cn/img_convert/d1c038eaa85cc84621bd1278e0103bc5.webp?x-oss-process=image/format,png
[format_png 21]: https://img-blog.csdnimg.cn/img_convert/b374796372829b43075441465567fd8e.webp?x-oss-process=image/format,png
[format_png 22]: https://img-blog.csdnimg.cn/img_convert/490c7fe2783cd7a953b4d5c6537daa54.webp?x-oss-process=image/format,png
[format_png 23]: https://img-blog.csdnimg.cn/img_convert/1ab41446e307c519319ca81ff3e28589.webp?x-oss-process=image/format,png