ETL利器Kettle实战应用解析系列一【Kettle使用介绍】

r囧r小猫 2022-05-28 02:16 225阅读 0赞

本文主要阅读目录如下：

[1、Kettle概念][1_Kettle]

[2、下载和部署][2]

[3、Kettle环境配置][3_Kettle]

[4、Kettle使用及组件介绍][4_Kettle]

ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少，这里我介绍一个我在工作中使用了3年左右的ETL工具Kettle,本着好东西不独享的想法，跟大家分享碰撞交流一下！在使用中我感觉这个工具真的很强大，支持图形化的GUI设计界面，然后可以以工作流的形式流转，在做一些简单或复杂的数据抽取、质量检测、数据清洗、数据转换、数据过滤等方面有着比较稳定的表现，其中最主要的我们通过熟练的应用它，减少了非常多的研发工作量，提高了我们的工作效率，不过对于我这个.net研发者来说唯一的遗憾就是这个工具是Java编写的。

1、Kettle概念

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。

Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。

Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。

Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。

2、下载和部署

Kettle可以在 [http://kettle.pentaho.org/][http_kettle.pentaho.org]网站下载

下载kettle压缩包，因kettle为绿色软件，解压缩到任意本地路径即可

3、Kettle环境配置(有Java环境的直接忽略此章节)

3、1 安装java JDK

1）首先到官网上下载对应JDK包，JDK1.5或以上版本就行；

2）安装JDK；

3）配置环境变量,附配置方式：

安装完成后，还要对它进行相关的配置才可以使用，先来设置一些环境变量，对于Java来说，最需要设置的环境变量是系统路径变量path。

（1）要打开环境变量的设置窗口。右击“我的电脑”，在弹出的快捷菜单中选择“属性”选项，进入“系统属性”对话框，如图所示。选择“高级”标签，进入“高级”选项卡，再单击“环境变量”按钮，进入“环境变量”对话框，如图所示：

![16103242-478f9933a78243b4807e87258e45a8d6.png][]

（2）在“Administrator的用户变量”列表框中，选择变量PATH，待其所在行变高亮后，单击“编辑”按钮，如图所示。

（3）在弹出的“编辑系统变量”对话框中，将JDK安装路径下的bin目录路径设置到Path变量中，如图所示。

![16103320-0bb2842855cd41e4905c2beb778eb7b3.png][]

编辑完后，单击“确定”按钮，进行保存,环境变量Path的设置就正式完成。

注意：设置Path变量的路径，必须是JDK安装目录中的bin目录，有时候在JDK安装目录的同一层会有JRE的安装目录，因此请谨慎选取相关路径，避免将路径设置成JRE目录下的bin目录。

3、2 测试JDK配置是否成功

设置好环境变量后，就可以对刚设置好的变量进行测试，并检测Java是否可以运行。

（1）单击“开始”按钮，选择“运行”选项，在“运行”对话框中输入cmd命令。

（2）之后单击“确定”按钮，打开命令行窗口。

（3）在光标处输入：javac命令，按下Enter键执行，即可看到测试结果

3、3 运行Kettle

进入到Kettle目录，如果Kettle部署在windows环境下，双击运行spoon.bat或Kettle.exe文件，出现如下界面：

![16103832-a55dd17c08de4af1a538a5a1e6cc1646.png][]

这样配置环境这一块基本上就完成了。

4、Kettle使用及组件介绍

4.1 Kettle使用

Kettle提供了资源库方式的方式来整合所有的工作，但是因为资源库移植不方便，所以我们选择没有资源库；

1）创建一个新的transformation，点击 保存到本地路径，例如保存到D:/etltest下，保存文件名为EtltestTrans，kettle默认transformation文件保存后后缀名为ktr；

2）创建一个新的job，点击 保存到本地路径，例如保存到D:/etltest下，保存文件名为EtltestJob，kettle默认job文件保存后后缀名为kjb；

4.2 组件树介绍

<table style="margin:0px;padding:0px;border:1px solid #C0C0C0;"> 
 <tbody style="margin:0px;padding:0px;"> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">&nbsp;&nbsp;<img src="https://images0.cnblogs.com/blog/418758/201301/16111335-426e4574119247e5b8f26c292c4aecc8.png" alt="" width="280" height="268" style="padding:0px;border:0px;max-width:900px;"></td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">Main Tree菜单列出的是一个transformation中基本的属性，可以通过各个节点来查看。&nbsp;DB连接：显示当前transformation中的数据库连接，每一个transformation的数据库连接都需要单独配置。&nbsp;Steps：一个transformation中应用到的环节列表&nbsp;Hops：一个transformation中应用到的节点连接列表　　　　　　　　　　　　　　　　　　　　　　　　　　　　</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">&nbsp;<img src="https://images0.cnblogs.com/blog/418758/201301/16110248-122384aad21546e4b714d608351a8487.png" alt="" width="284" height="277" style="margin-bottom:0px;padding:0px;border:0px;max-width:900px;"></td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">Core Objects菜单列出的是transformation中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添加。&nbsp;Input：输入环节Output：输出环节Lookup：查询环节Transform：转化环节Joins：连接环节Scripting：脚本环节</td> 
 </tr> 
 </tbody> 
</table>

4.3 Transformation转换介绍

每一个环节可以通过鼠标拖动来将环节添加到主窗口中。

并可通过shift+鼠标拖动，实现环节之间的连接。

![16110508-70ea8eff6c78442689e74d1d9f10de7f.png][]

转换常用环节介绍

<table style="margin:0px;padding:0px;border:1px solid #C0C0C0;width:810px;"> 
 <tbody style="margin:0px;padding:0px;"> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">类别</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">环节名称</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">功能说明</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">Input</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">文本文件输入</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">从本地文本文件输入数据</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">表输入</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">从数据库表中输入数据</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">获取系统信息</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">读取系统信息输入数据</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">Output</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">文本文件输出</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">将处理结果输出到文本文件</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">表输出</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">将处理结果输出到数据库表</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">插入/更新</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">根据处理结果对数据库表机型插入更新，如果数据库中不存在相关记录则插入，否则为更新。会根据查询条件中字段进行判断</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">更新</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">根据处理结果对数据库进行更新，若需要更新的数据在数据库表中无记录，则会报错停止</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">删除</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">根据处理结果对数据库记录进行删除，若需要删除的数据在数据库表中无记录，则会报错停止</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">Lookup</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">数据库查询</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">根据设定的查询条件，对目标表进行查询，返回需要的结果字段</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">流查询</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">将目标表读取到内存，通过查询条件对内存中数据集进行查询</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">调用DB存储过程</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">调用数据库存储过程</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">Transform</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">字段选择</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">选择需要的字段，过滤掉不要的字段，也可做数据库字段对应</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">过滤记录</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">根据条件对记录进行分类</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">排序记录</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">将数据根据某以条件，进行排序</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">空操作</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">无操作</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">增加常量</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">增加需要的常量字段</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">Scripting</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">Modified Java Script Value</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">扩展功能，编写JavaScript脚本，对数据进行相应处理</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">Mapping</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">映射（子转换）</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">数据映射</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">Job</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">Sat Variables</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">设置环境变量</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">Get Variables</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">获取环境变量</td> 
 </tr> 
 </tbody> 
</table>

4.3 Job任务介绍

<table style="margin:0px;padding:0px;border:1px solid #C0C0C0;"> 
 <tbody style="margin:0px;padding:0px;"> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;"><img src="https://images0.cnblogs.com/blog/418758/201301/16110840-efb01c2350aa4c088134be8ec95a97b8.png" alt="" width="220" height="174" style="padding:0px;border:0px;max-width:900px;">&nbsp;</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">Main Tree菜单列出的是一个Job中基本的属性，可以通过各个节点来查看。&nbsp;DB连接：显示当前Job中的数据库连接，每一个Job的数据库连接都需要单独配置。&nbsp;Job entries：一个Job中引用的环节列表　　　　　　　　　</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;"><img src="https://images0.cnblogs.com/blog/418758/201301/16110937-714fc7583da747d98c538edc86c465c1.png" alt="" width="220" height="307" style="padding:0px;border:0px;max-width:900px;"></td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">Job entries菜单列出的是Job中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添加。&nbsp;每一个环节可以通过鼠标拖动来将环节添加到主窗口中。&nbsp;并可通过shift+鼠标拖动，实现环节之间的连接。</td> 
 </tr> 
 </tbody> 
</table>

常用环节介绍

<table style="margin:0px;padding:0px;border:1px solid #C0C0C0;width:690px;"> 
 <tbody style="margin:0px;padding:0px;"> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">类别</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">环节名称</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">功能说明</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">Job entries</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">START</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">开始</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">DUMMY</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">结束</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">Transformation</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">引用Transformation流程</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">Job</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">引用Job流程</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">Shell</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">调用Shell脚本</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">SQL</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">执行sql语句</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">FTP</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">通过FTP下载</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">Table exists</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">检查目标表是否存在，返回布尔值</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">File exists</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">检查文件是否存在，返回布尔值</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">Javascript</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">执行JavaScript脚本</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">Create file</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">创建文件</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">Delete file</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">删除文件</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">Wait for file</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">等待文件，文件出现后继续下一个环节</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">File Compare</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">文件比较，返回布尔值</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">Wait for</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">等待时间，设定一段时间，kettle流程处于等待状态</td> 
 </tr> 
 <tr style="margin:0px;padding:0px;"> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">Zip file</td> 
 <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">压缩文件为ZIP包</td> 
 </tr> 
 </tbody> 
</table>

[1_Kettle]: http://www.cnblogs.com/limengqiang/archive/2013/01/16/KettleApply1.html#gn
[2]: http://www.cnblogs.com/limengqiang/archive/2013/01/16/KettleApply1.html#xzbs
[3_Kettle]: http://www.cnblogs.com/limengqiang/archive/2013/01/16/KettleApply1.html#hjpz
[4_Kettle]: http://www.cnblogs.com/limengqiang/archive/2013/01/16/KettleApply1.html#syzj
[http_kettle.pentaho.org]: http://kettle.pentaho.org/
[16103242-478f9933a78243b4807e87258e45a8d6.png]: /images/20220528/2ef97f29dcac4438b4143c551ce778a2.png
[16103320-0bb2842855cd41e4905c2beb778eb7b3.png]: /images/20220528/8e3cabe4a67f4640b6d92522b35fe41a.png
[16103832-a55dd17c08de4af1a538a5a1e6cc1646.png]: /images/20220528/5e94f0d94c894da28f4f08d4665c7ed7.png
[16110508-70ea8eff6c78442689e74d1d9f10de7f.png]: /images/20220528/8301fc51d771444cb03ca1ff44e7e709.png