kettle的简单操作

谁践踏了优雅 2022-04-11 02:50 298阅读 0赞

本文将记录下如何简单的操作kettle，针对CVS以及Excel文件进行入库操作。

### CVS入库操作 ###

#### 创建数据库表 ####

**第一步： 创建数据库 `kettle`**  
**第二步： 建表**

DLL语句如下：

CREATE TABLE `csv_test` (
      `id` int(11) NOT NULL,
      `name` varchar(255) DEFAULT NULL,
      `address` varchar(255) DEFAULT NULL,
      `flag` int(11) DEFAULT NULL,
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

**第三步： 创建CSV文件**

id,name,address,flag
    1,天使,瑞士,0
    2,莱因哈特,德国,1
    3,托比昂,瑞典,2
    4,麦克雷,美国,3

#### 转换操作 ####

**第一步：创建输入**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQwODAz_size_16_color_FFFFFF_t_70]  
使用鼠标拖入到右侧工作区。

**第二步：创建输出**  
![在这里插入图片描述][20181204142239420.png]  
使用鼠标拖入右侧工作区。

**第三步：建立联系**

![在这里插入图片描述][20181204142255385.png]  
鼠标左键+shift单击CSV文件输入，然后移动鼠标到右边表输出，按下鼠标当出现蓝色线条即建立连接。或者使用鼠标中键。

双击CSV文件输入  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQwODAz_size_16_color_FFFFFF_t_70 1]  
**第一步：选择输入的csv文件**  
**第二步：选择文件编码，与UTF-8一致**

双击表输出

配置表输出项：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQwODAz_size_16_color_FFFFFF_t_70 2]  
**第一步：建立数据库连接**  
点击编译按钮，或者新建按钮  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQwODAz_size_16_color_FFFFFF_t_70 3]  
选择数据驱动类型，添加数据库连接信息。  
**注意，对于各个数据库需要添加对应的数据库驱动jar。**

**第三步：获取字段，可以加载数据库表字段**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQwODAz_size_16_color_FFFFFF_t_70 4]

#### 执行 ####

点击执行按钮，结果如下  
![在这里插入图片描述][20181204142434198.png]

### Excel入库操作 ###

#### 创建数据库表 ####

同上面类似  
**第一步：创建excel文件**

id	name	age
    1	张三	22
    2	李四	23
    3	王五	20

**第二步：创建DDL**

CREATE TABLE `excel_test` (
      `id` int(11) NOT NULL,
      `name` varchar(255) DEFAULT NULL,
      `age` int(11) DEFAULT NULL,
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

#### 转换操作 ####

建立输入输出：  
![在这里插入图片描述][2018120414255612.png]  
**第一步：编辑excel输入**  
选择表格类型引擎，注意选择XLSX类型的引擎  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQwODAz_size_16_color_FFFFFF_t_70 5]  
添加需要输入的excel文件  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQwODAz_size_16_color_FFFFFF_t_70 6]  
选择编码类型  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQwODAz_size_16_color_FFFFFF_t_70 7]  
获取头部属性字段  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQwODAz_size_16_color_FFFFFF_t_70 8]

**第二步： 表输出设置**  
表输出设置跟CVS设置一样

#### 执行 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQwODAz_size_16_color_FFFFFF_t_70 9]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQwODAz_size_16_color_FFFFFF_t_70 10]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQwODAz_size_16_color_FFFFFF_t_70]: /images/20220411/161afa63b1574bde8a755976faabe7e3.png
[20181204142239420.png]: /images/20220411/686270b0b5274e359dcdad13915ae7cd.png
[20181204142255385.png]: /images/20220411/10ddd6b1c81d47809a3491a37571a61e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQwODAz_size_16_color_FFFFFF_t_70 1]: /images/20220411/18e239626c8942b5a0579a264ac07263.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQwODAz_size_16_color_FFFFFF_t_70 2]: /images/20220411/892fcc6bf14b4165a0ad3b2c21685820.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQwODAz_size_16_color_FFFFFF_t_70 3]: /images/20220411/bbaa49740cba4e3fb76cf365e1c8fd40.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQwODAz_size_16_color_FFFFFF_t_70 4]: /images/20220411/40b824fb29b24045ba0ecf95280fa569.png
[20181204142434198.png]: /images/20220411/c50eafedb94942e18a882235c49a46e9.png
[2018120414255612.png]: /images/20220411/1d7a878a6d254963a0642ea42c651c85.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQwODAz_size_16_color_FFFFFF_t_70 5]: /images/20220411/de108726ae3243e6a3260cafcc4bc62f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQwODAz_size_16_color_FFFFFF_t_70 6]: /images/20220411/494020bed34d492a9b6e404f4dda26ba.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQwODAz_size_16_color_FFFFFF_t_70 7]: /images/20220411/8308394485e84054aa49ea803f6f396a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQwODAz_size_16_color_FFFFFF_t_70 8]: /images/20220411/91cc6198ce2440edb2a30c3767235af6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQwODAz_size_16_color_FFFFFF_t_70 9]: /images/20220411/ae6f3cd6376b475f8ad6047c492f89cb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQwODAz_size_16_color_FFFFFF_t_70 10]: /images/20220411/adf820429b4b41ec9897a6425faaa00c.png