DataStage系列教程（Change Capture）

傷城~ 2022-03-22 02:58 473阅读 0赞

Change Capture可以比较具有相同列的数据集的差异，得出一个数据集（After）在另一个数据库（Before）的基础上产生的哪些变化。变化类型如表1：

<table> 
 <tbody> 
  <tr> 
   <td>变化代码</td> 
   <td>变化</td> 
   <td>中文说明</td> 
  </tr> 
  <tr> 
   <td>0</td> 
   <td>no change</td> 
   <td>无变化</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>insert</td> 
   <td>新增</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>delete</td> 
   <td>删除</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>edit</td> 
   <td>有变化</td> 
  </tr> 
 </tbody> 
</table>

表1 变化种类

### 1 JOB示例 ###

如图1，我们最终做出的JOB会是这个样子。它包含3个序列文件组件data\_before、data\_after、cmp\_result；2个排序组件sort\_before、sort\_after；一个change capture组件cc。

JOB从2个结构相同的源文件抽取数据，最终比较出data\_after在data\_before上产生了哪些改变，然后将改变存入cmp\_result。

![261814098949225.png][]

图1 JOB示例

### 2 组件简介 ###

2.1 阶段

阶段选项卡如图2。

![261814116598499.png][]

图2 阶段选项卡

2.1.1 Change Mode

先介绍一下选项里的Change Mode，它有3种模式，官方解释如下：

> All Keys, Explicit Values means that value columns must be defined, but all other columns are key columns unless they are excluded.   
> Explicit Keys & Values means that key & value columns must be explicitly defined.   
> Explicit Keys, All Values means that key columns must be defined, but all other columns are value columns unless they are excluded.

我的理解如表2：

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;">模式名称</td> 
   <td style="vertical-align:top;">说明</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">All Keys, Explicit Values</td> 
   <td style="vertical-align:top;"><strong>明确指定值。</strong><br> 这时属性中会出现Excluded Keys和Change Values这2个文件夹，我们需要在这2个文件夹添加属性，或者只指定Change Values。<br> 除了Excluded Keys、Change Values，其他的都是key，用来确定一条记录。</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">Explicit Keys &amp; Values</td> 
   <td style="vertical-align:top;"><strong>明确指定键和值。</strong><br> 我们需要在Change Keys和Change Values文件夹中添加属性。</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">Explicit Keys, All Values</td> 
   <td style="vertical-align:top;"><strong>明确指定键。</strong><br> 需要在Excluded Values和Change Keys填写属性，或者只指定Change Keys。</td> 
  </tr> 
 </tbody> 
</table>

表2 Change Mode说明

说明：我一般都是采用Explicit Keys, All Values，然后指定数据集的主键，如图2。其他模式您可以自己尝试。

## ##

2.2 其他选项

接下来介绍选项。用来确定比对结果输出和是否需要在日志中记录统计信息。

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;">属性</td> 
   <td style="vertical-align:top;">说明</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">drop output for copy</td> 
   <td style="vertical-align:top;">没有发生变化的记录是否要从输出中删除。<br> True：删除，即不输出；False：输出。</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">drop output for delete</td> 
   <td style="vertical-align:top;">在data_after中删除的记录是否要从输出中删除。<br> 即data_after中没有，data_before中有的记录。</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">drop output for edit</td> 
   <td style="vertical-align:top;">data_after和data_before不一致的记录是否要从输出中删除。</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">drop output for insert</td> 
   <td style="vertical-align:top;">data_after中有而data_before中没有的记录。</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">log statistics</td> 
   <td style="vertical-align:top;">是否在日志中输出统计信息。日志会记录数据集的记录数，新增、删除的记录数等。</td> 
  </tr> 
 </tbody> 
</table>

### 3 结果展示 ###

3.1 data\_before

code    name    salary  entryDate
    001     hong    100     2014-01-12
    002     bai     105     2014-01-22
    003     wang    110     2014-02-01
    004     lan     102     2014-02-02

3.2 data\_after

code    name    salary  entryDate
    001     hong    120     2014-01-12
    002     bai     105     2014-01-22
    004     lan     102     2014-02-02
    005     hei     103     2014-03-02

3.3 cmp\_result

001     hong    120     2014-01-12      3
    003     wang    110     2014-02-01      2
    005     hei     103     2014-03-02      1

### 4 附JOB导出文件 ###

[点击下载][Link 1]

[261814098949225.png]: /images/20220322/527935ba122844ea9299268b3ea8b469.png
[261814116598499.png]: /images/20220322/56adb22ecc414acd9f938e146eef460b.png
[Link 1]: http://files.cnblogs.com/files/BlueBreeze/change_capture.zip