kettle-8.3.0.0：输入步骤

逃离我推掉我的手 2023-06-25 07:54 39阅读 0赞

# 输入步骤主要分为以下几类： #

• 生成记录/自定义常量  
• 获取系统信息  
• 表输入  
• 文本文件输入  
• XML 文件输入  
• Json输入  
• 其他输入步骤

## 生成记录和自定义常量 ##

![format_png][]

**1.生成记录**

![format_png 1][]

由于生成记录每行都是一样的数据，所以便诞生了自定义常量数据来手工模拟数据

**2.自定义常量数据**

![format_png 2][]

常用于构造一些测试数据。

## 获取系统信息 ##

获得各类系统信息，常见的包括：  
• 转换开始时间。  
• 关键时间点信息  
• 最多十个命令行参数  
• 主机名/ip/进程号/虚拟机内存等  
• 上一个作业的完成情况参数

![format_png 3][]

// 固定是整个转换开始的时间

![format_png 4][]

更多系统信息细节，参考相关文档

## 表输入 ##

**表输入**是比较常见的输入方式，通过执行SELECT语句，从数据库拉取输入数据，可以使用**$\{\}**形式使用变量，如果使用**?变量**，要求前面步骤传过来的参数需要顺序一致。示例表输入配置如下：（按住shift进行组件连接）

![format_png 5][]

上边是单条件筛选，如果是多条件筛选，要勾选 **执行每一行**，适用情况：对一列进行多条件的判断（如where id>? or name =?）

![format_png 6][]

如果不明白，请参考：[Kettle入门操作——输入流（表输入、excel）详细][Kettle_excel]

**数据库连接时可能会出现驱动不存在，需要复制mysql-connector到kettle的lib目录下。**

** 推荐使用JDNI方式进行连接：[https://www.cnblogs.com/mq0036/p/9238646.html][https_www.cnblogs.com_mq0036_p_9238646.html]**

**JNDI方式有时候稍显不直观，可以通过统一数据源管理的方式：在主对象树DB连接下新建连接（新建转换后即可看到），然后右键->共享即可！**

![format_png 7][]

配置变量输入：

![format_png 8][]

文本文件输出查看结果为table\_input.txt

**数据类型对应关系：**

![format_png 9][]

## 文本文件输入 ##

![format_png 10][]

**文本文件输入：**  
              处理有列分隔符（限定符、逃逸字符）的文本文件。  
              功能选项丰富、有错误处理机制。  
**CSV 文件输入：**  
　　　　简化了文本文件输入  
　　　　通过 NIO、并行、延迟转换提高性能  
**固定宽度：**  
　　　　列固定宽度的文件，不用解析字符串，性能好。

### **1.文本文件输入** ###

**先看文件这一项：**

![format_png 11][]

**双击**文件节点进入编辑，直接点击浏览进行选择不是很推荐，

推荐使用变量（凡是旁边一个$形状的，都可以根据提示使用变量，内置变量参考：[kettle内置变量和属性参考][kettle]），单击变量，旁边会显示变量的值，可以进行参考。

可以在第一行选择文件或者目录，选择目录则可以在规则表达式进一步通过正则进行控制，然后点击增加，增加文件到选中的文件框中，之后点击显示文件名进行文件选择结果查看。

**也可以点击下方从步骤选择文件，继续设置输入的内容页：**

![format_png 12][]

// 这里目前不知何解，设置制表符\\t字段会识别失败。换成分号;等就正常了

**解决方案如下：**

使用sublime先安装hexVIew插件，[使用插件][Link 1]，点击toggle查看制表符的十六进制，然后分隔符处通过$\[\]，例如制表符查看是09；

则分隔符为：**$\[09\]**

**字段页通过获取字段查看分割结果：预览记录查看记录结果**

![format_png 13][]

**错误处理页可以进行相关设置：**

![format_png 14][]

**过滤页可以进行字段过滤：（**例如选择第二列（从0开始位置），含有bb的**）**

![format_png 15][]

**2.固定宽度**

要求每一行都是固定宽度，然后通过宽度截取

\#\#\#　　XML输入暂不赘述

\#\#\#　　JSON输入暂不赘述

# 其它输入　 #

Excel 输入  
Access 输入  
配置文件输入  
SAP 输入  
Oracle CDC 增量输入  
消息队列输入  
PDF文件输入  
搜索引擎结果输入

.....

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEzNTU4MC8yMDE4MDUvMTEzNTU4MC0yMDE4MDUwNDA5MDgzMzExOS0xMjY5NTIyNTg5LnBuZw?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEzNTU4MC8yMDE4MDUvMTEzNTU4MC0yMDE4MDUwNDA5MTEyMjMxNC0xNzg4NjUyOTcxLnBuZw?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEzNTU4MC8yMDE4MDUvMTEzNTU4MC0yMDE4MDUwNDA5MTQyNTcyMC0xNjczOTI1MzQ3LnBuZw?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEzNTU4MC8yMDE4MDUvMTEzNTU4MC0yMDE4MDUwNDA5MTgxOTE0OC0xNTY0MzQxMzA5LnBuZw?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEzNTU4MC8yMDE4MDUvMTEzNTU4MC0yMDE4MDUwNDA5MjM0OTcwMS0yMjYyNDcyMzUucG5n?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEzNTU4MC8yMDE4MDUvMTEzNTU4MC0yMDE4MDUwNDA5MzgzNDcwNC0xNzcxMzgyNjM0LnBuZw?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvOTM3Mjc5LzIwMTcxMS85MzcyNzktMjAxNzExMjMyMzIwNTg4NzUtMTUyODEwNTkzNy5wbmc?x-oss-process=image/format,png
[Kettle_excel]: https://www.cnblogs.com/wind-man/p/7887599.html
[https_www.cnblogs.com_mq0036_p_9238646.html]: https://www.cnblogs.com/mq0036/p/9238646.html
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWcyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEzNTU4MC8yMDE5MTIvMTEzNTU4MC0yMDE5MTIxNzIxMzU1MTYxNy0xMjA1NTk5MzA5LnBuZw?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEzNTU4MC8yMDE4MDUvMTEzNTU4MC0yMDE4MDUwNDA5NDMwNTc3OS0yMjI3NzI4NjkucG5n?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEzNTU4MC8yMDE4MDUvMTEzNTU4MC0yMDE4MDUwNDEwMDU0MTUzNS0xOTk1MjM5Njc3LnBuZw?x-oss-process=image/format,png
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEzNTU4MC8yMDE4MDUvMTEzNTU4MC0yMDE4MDUwNDEwMDcyNDQ2Mi02OTg5NzIwNjkucG5n?x-oss-process=image/format,png
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEzNTU4MC8yMDE4MDUvMTEzNTU4MC0yMDE4MDUwNDEwMzQyMzE4NC0xMTU2NjgwNDUucG5n?x-oss-process=image/format,png
[kettle]: https://blog.csdn.net/qq_32252917/article/details/103729375
[format_png 12]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEzNTU4MC8yMDE4MDUvMTEzNTU4MC0yMDE4MDUwNDEwNDMwMzk2NS0zOTkxMTM0NjkucG5n?x-oss-process=image/format,png
[Link 1]: https://blog.csdn.net/dotphoenix/article/details/52130597
[format_png 13]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEzNTU4MC8yMDE4MDUvMTEzNTU4MC0yMDE4MDUwNDEwNDkzMzE0Ny0xNTI4ODAxOTc5LnBuZw?x-oss-process=image/format,png
[format_png 14]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEzNTU4MC8yMDE4MDUvMTEzNTU4MC0yMDE4MDUwNDEwNTExMTk5OS04ODkyNDA5NzUucG5n?x-oss-process=image/format,png
[format_png 15]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEzNTU4MC8yMDE4MDUvMTEzNTU4MC0yMDE4MDUwNDEwNTIzOTc4My04OTEyMDUxMjEucG5n?x-oss-process=image/format,png