pentaho(keetle)数据同步实践

Myth丶恋晨 2024-03-23 21:46 10阅读 0赞

## pentaho(keetle)数据同步实践 ##

### 1 pentaho简介 ###

> `pentaho`可读作“彭塔湖”，在`keetle`被[pentaho公司][pentaho]收购后改名而来。

`pentaho`是一款开源`ETL`工具，纯java编写的C/S模式的工具，可绿色免安装，开箱即用。支持Windows、macOS、Linux平台。

`pentaho`有2个核心设计，即`转换`和`作业`。

`转换`是一个包含输入、逻辑处理、输出的完整过程，即ETL。

`作业`是一个提供定时执行转换的机制，即定时服务调度。

`pentaho`官网下载链接：[Pentaho Community Edition Download | Hitachi Vantara][Pentaho Community Edition Download _ Hitachi Vantara]

![image][]

`pentaho`由主要四部分组成

*  Spoon.bat/Spoon.sh ：勺子，是一个图形化界面，可图形化操作转换和作业
 *  Pan.bat/Pan.sh : 煎锅，可用命令行方式调用转换
 *  Kitchen.bat/Kitchen.sh : 厨房，可用命令行方式调用作业
 *  Carte.bat/Carte.sh ： 菜单，是一个轻量级web容器，可建立专用、远程的ETL Server

--------------------

### 2 pentaho安装 ###

由于是纯java编写，依赖jdk环境。所以需要先配置jdk环境，这里省略。

从官网下载`pentaho`安装包后，直接解压。

![image][image 1]

重点目录以及执行文件说明

*  lib目录 ： 这是依赖库目录，例如各个数据库的jdbc驱动，都放在此目录下
 *  logs目录 ：这是转换和作业运行的默认日志输出目录
 *  simple-jndi目录 ：这是各个数据库的JNDI连接信息的全局配置
 *  Spoon.bat/Spoon.sh ：勺子，是一个图形化界面，可图形化操作转换和作业
 *  Pan.bat/Pan.sh : 煎锅，可用命令行方式调用转换
 *  Kitchen.bat/Kitchen.sh : 厨房，可用命令行方式调用作业
 *  Carte.bat/Carte.sh ： 菜单，是一个轻量级web容器，可建立专用、远程的ETL Server

--------------------

### 3 数据同步案例 ###

> 这里使用`sqlserver`到`postgresql`同步。在Windows平台上操作。

#### 3.1 执行Spoon.bat文件，启动图形化界面 ####

![image][image 2]

可以看到左侧只有`作业`和`转换`。

#### 3.2 创建一个转换，右键，新建 ####

![image][image 3]

左侧是一些转换插件。

#### 3.3 创建一个数据源输入，展开输入，选择表输入 ####

![image][image 4]

切换到`主对象树`,选择`DB连接`,连接数据源。

由于我这里是sqlserver同步到postgresql，所以需要创建sqlserver和postgresql的`DB连接`。

> 创建连接前，需要先下载sqlserver的 jdbc驱动`mssql-jdbc-12.2.0.jre8.jar` 和 postgresql的jdbc驱动`postgresql-42.6.0.jar`,我这里直接选的最新版。

sqlserver的连接

![image][image 5]

> sqlserver的连接，如果选择JNDI则无法连接，目前猜测可能是驱动版本问题

postgresql的连接

![image][image 6]

点击测试，如果连接成功，则会弹框提示

![image][image 7]

#### 3.4 编辑表输入 ####

![image][image 8]

先选择数据库连接

![image][image 9]

点击获取SQL查询语句，获取数据表

![image][image 10]

选择一个数据表后，会提示是否选择全部字段，选择是

![image][image 11]

![image][image 12]

点击确定，一个表输入就做好了。

#### 3.5 创建一个数据源输出 ####

> 如果是全表覆盖同步，则选择表输出，因为这里是需要根据主键判断是否重复，重复则更新，否则就插入，因此这里选择 插入/更新

展开输出节点，选择 插入/更新，并将其拖入到右侧图形界面中，然后将表输入连线到当前节点，按住shift+鼠标左键

> 这里如果不先连线的话，在配置映射字段时，就无法获取源表字段，需要自行输入

![image][image 13]

![image][image 14]

双击进行编辑

![image][image 15]

点击确定后，一个转换就完成了

![image][image 16]

点击左上角的运行按钮，即可执行同步了。

--------------------

Q1：这是一个单表转换，那如果需要一次同步多个表呢？

A1：那就继续按此步骤进行配置，多表转换配置完成后如下

![image][image 17]

Q2：那表数量很多，这么配置很费时间，有什么更好的办法么？

A2：有。可以编写脚本，正在学习中……

--------------------

Q3: 前面的转换已经配置完成了，但是只能手动点击运行，能否定时自动运行？

A3：可以。继续看第4节。

--------------------

### 4 定时服务 ###

选择文件–>新建–>作业，即可创建一个作业。

![image][image 18]

在作业窗口，选择`核心对象`,展开通用，选择Start、转换、成功，分别拖入图形界面中，并按顺序连线

![image][image 19]

双击转换就，进行编辑，选择转换文件

> 无论转换、还是作业，都是以xml文件形式保存在本地

![image][image 20]

此时一个作业即配置完成，但是注意，还没达到定时运行的目的，继续配置

双击`Start`，对作业进行配置

![image][image 21]

配置完后点击确定，然后点击图形界面的运行按钮，定时服务即启动了

![image][image 22]

在日志输出窗口，可看到服务运行日志

![image][image 23]

至此，pentaho的定时数据同步已完成。

--------------------

Q4: 定时服务开启后，这个程序窗口被关了或者说程序退出了，服务还运行吗？

A4：不会。由于是C/S模式，客户端服务端一体，进程退出即服务停止

--------------------

Q5：那有类似后台服务的方式，悄悄运行呢，不被这个界面退出所终止服务？

A5：有。请看第5节。

--------------------

### 5 以后台方式运行作业 ###

在介绍中提到，有个`Kitchen.bat/Kitchen.sh(厨房)`的执行文件，它的作用就是用命令方式调用作业。由于是在Windows平台，所以选择Kitchen.bat执行文件。

打开控制台窗口，进入`pentaho`安装目录，即`Kitchen.bat`所在目录，执行如下命令

<table> 
 <tbody> 
  <tr> 
   <td></td> 
   <td><code>kitchen /file:{job file path} /level:Basic&gt;&gt;{log file path}</code></td> 
  </tr> 
 </tbody> 
</table>

说明：

/file 参数指定 job文件

/level 参数指定日志级别，并写入指定的文件

指定日志文件后，控制台界面就不会输出日志，否则日志会在控制台输出，像下面这样

![image][image 24]

--------------------

Q6：总开着一个控制台黑框，也不太好，窗口被关了，服务不也停止了吗？有什么更好的方式吗？

A6：是的。有。可以隐藏掉黑窗口，那么继续往下看。

--------------------

#### 5.1 隐藏控制台窗口 ####

在Kitchen.bat同级目录下创建一个txt文本文件，输入如下内容

<table> 
 <tbody> 
  <tr> 
   <td></td> 
   <td><code>@echo off </code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>if "%1" == "h" goto begin </code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>mshta vbscript:createobject("wscript.shell").run("%~nx0 h",0)(window.close)&amp;&amp;exit </code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>:begin</code></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td><code>kitchen /file:"替换为job文件路径" /level:Basic&gt;&gt;"替换为日志文件路径"</code></td> 
  </tr> 
 </tbody> 
</table>

然后以`ANSI`编码方式另存为`.bat`文件。用ANSI编码，是防止文件路径有中文出现乱码。

至此，一个完成的`pentaho`定时数据同步作业服务就完成了。

[pentaho]: https://baike.baidu.com/item/Pentaho
[Pentaho Community Edition Download _ Hitachi Vantara]: https://www.hitachivantara.com/en-us/products/pentaho-platform/data-integration-analytics/pentaho-community-edition.html
[image]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/0ff558c169a24f7f8092d4c18454649a.png
[image 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/7ac4f45da6cd4fc2a33830678e0bea3e.png
[image 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/4ecfba4fa8e74e14bce752a8c3b90edb.png
[image 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/a79034459d934fcd8c101747801a1a5b.png
[image 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/b113373f5138475ea033931dc574bfe6.png
[image 5]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/445f07e0ae0448af9b3ad8e3f29e293f.png
[image 6]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/efc23814003340beb74edc4888106c6d.png
[image 7]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/e900ba7878eb4f0db1dc7b005ee6dd7e.png
[image 8]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/f5298e68a02a47e89b69088b7147f59b.png
[image 9]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/e883bb747eee434c883867d819555df4.png
[image 10]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/e6fb0808c8394292a970b0da8f728828.png
[image 11]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/116bfde1074f45d785ce9f719f561e6e.png
[image 12]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/736e66bee2824748a3a8fa2b65af60d2.png
[image 13]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/297f7681e097402e8d1c083d6d3ddc9b.png
[image 14]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/2c68af3dc8aa4378a5efc2b3dc3d0643.png
[image 15]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/732fddc381724dfc9b815f8eebcc4eb5.png
[image 16]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/862e95c84ef845e5b87e7e5f372c5911.png
[image 17]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/6abe576c072e4fea9a1e91fab3131b44.png
[image 18]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/337684430b4544fb98c7cec4441398cc.png
[image 19]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/10f7f85593a847289dd6c5467c4919e9.png
[image 20]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/f2be153dd4e4451d850b490fd7b548a9.png
[image 21]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/b5910f3f69824ac789207468bee6891a.png
[image 22]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/d2965a94695f40ebba437262a519ab19.png
[image 23]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/e9b87e2e35144b24b35fece54b4182d8.png
[image 24]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/8a86ffb01cbd4c9193c5c9fa3d7ee24d.png