Kettle作业和参数

喜欢ヅ旅行 2022-10-29 11:19 268阅读 0赞

### 目录 ###

*  一.Job（作业）
 *   *  Job Item（作业项）
     *  Job Hop（作业跳）
     *  作业示例
 *  二.参数

# 一.Job（作业） #

大多数ETL项目都需要完成各种各样的操作，例如：

*  如何传送文件
 *  验证数据库表是否存在，等等  
    而这些操作都是按照一定顺序完成，Kettle中的作业可以串行执行转换来处理这些操作。

## Job Item（作业项） ##

**作业项**是作业的基本构成部分。如同转换的组件，作业项也可以用**图标的方式**展示。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]  
作业顺序执行作业项，必须定义一个**起点**  
有一个「start」的作业项专门用来定义起点  
一个作业只能定一个开始作业项

## Job Hop（作业跳） ##

Job Hop是作业项之间的连接线，定义了作业的执行路径，作业里每个作业项的不同运行结果决定了作业的不同执行路径。以下为 Job Hop的几种执行方式：  
1、无条件执行

*  不论上一个作业项执行成功还是失败，下一个作业项都会执行
 *  蓝色的连接线，上面有一个锁的图标  
    ![在这里插入图片描述][20210213132414230.png]  
    2、当运行结果为真时执行
 *  当上一个作业项的执行结果为真时，执行下一个作业项
 *  通常在需要无错误执行的情况下使用
 *  绿色的连接线，上面有一个对钩号的图标。  
    ![在这里插入图片描述][20210213132441649.png]  
    3、当运行结果为假时执行
 *  当上一个作业项的执行结果为假或者没有成功执行时，执行下一个作业项
 *  红色的连接线，上面有一个红色的停止图标  
    ![在这里插入图片描述][20210213132502483.png]

## 作业示例 ##

需求：

*  先从01Excel输入.xlsx\`读取数据，保存到Excel
 *  再从01文本文件输入.txt\` 文本文件中读取数据，保存到Excel
 *  启动作业执行
    
     *  执行错误，显示执行错误消息框
     *  执行成功，显示执行成功消息框  
        实现步骤：  
        1、设计转换结构1（从Excel读取数据，保存到Excel）  
        从Excel读取数据，保存到Excel  
        ![在这里插入图片描述][2021021313311620.png]  
        从文本文件中读取数据，保存到Excel  
        ![在这里插入图片描述][2021021313341633.png]  
        3、设计作业结构（先执行转换结构1、再执行转换结构2）  
        刚才执行保存文件 转换1和转换2都要执行  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 1]  
        4.执行结果  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 2]

# 二.参数 #

**参数的使用**  
对于ETL参数传递是一个很重要的环节，因为参数的传递会涉及到业务数据是如何抽取  
**转换命名参数**

*  转换命名参数就是在转换内部定义的变量，作用范围是在转换内部
 *  在转换的空白处双击左键，在转换属性中能看到
 *  可以在表输入 SQL语句中使用 $\{变量名\} 或者 %%变量名%% 直接引用

**需求：**

*  设置转换命名参数 default\_province = 北京市
 *  从t\_user表中获取数据，满足条件 province=default\_province，后续不要执行任何操作  
    实现步骤：  
    1、设计以下转换组件结构图  
    ![在这里插入图片描述][2021021313543454.png]

2、配置转换命名参数  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 3]  
3、配置表输入组件  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 4]  
4.执行结果  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 5]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]: /images/20221024/4f92ea5e2ca64701a1f29d49505e1cbc.png
[20210213132414230.png]: /images/20221024/54ba624b74734fa29daa2b2d579555ec.png
[20210213132441649.png]: /images/20221024/fae0ab28d3d94191a9d081aca5b34cfb.png
[20210213132502483.png]: /images/20221024/cedc09ba05b14634b664d75751fccdd3.png
[2021021313311620.png]: /images/20221024/7bf056e3cebe452aab5f1612fcc5089f.png
[2021021313341633.png]: /images/20221024/24eaf1658ba04caea516e2d3ff5fcc4f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 1]: /images/20221024/e89709bc5d914eaf8f8e88d39a874b8c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 2]: /images/20221024/489a2307b5c04aea9eb41672c6646ad6.png
[2021021313543454.png]: /images/20221024/90405db21c554464b45fa43d6d1dd26d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 3]: /images/20221024/f7fd49f062b34dc3be257f3789e70479.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 4]: /images/20221024/3ef076d8f34d4605bfa9410fd03735b0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70 5]: /images/20221024/3b3c347fdfa54464acb38e5a52a234ea.png