Flink中的keyby分流与window操作

柔情只为你懂 2022-03-19 19:40 577阅读 0赞

### 1. Stream分流 ###

Window是无限数据流处理的核心，Window将一个无限的stream拆分成有限大小的”buckets”桶，我们可以在这些桶上做计算操作。  
　　窗口化的Flink程序的一般结构如下，第一个代码段中是分组的流，而第二段是非分组的流。正如我们所见，唯一的区别是分组的stream调用keyBy(…)和window(…)，而非分组的stream中window()换成了windowAll(…)，这些也将贯穿都这一页的其他部分中。

**Keyed Windows**

stream.keyBy(...)          <-  keyed versus non-keyed windows
           .window(...)         <-  required: "assigner"
          [.trigger(...)]       <-  optional: "trigger" (else default trigger)
          [.evictor(...)]       <-  optional: "evictor" (else no evictor)
          [.allowedLateness()]  <-  optional, else zero
           .reduce/fold/apply() <-  required: "function"

**Non-Keyed Windows**

stream.windowAll(...)      <-  required: "assigner"
          [.trigger(...)]       <-  optional: "trigger" (else default trigger)
          [.evictor(...)]       <-  optional: "evictor" (else no evictor)
          [.allowedLateness()]  <-  optional, else zero
           .reduce/fold/apply() <-  required: "function"

在上面的例子中，方括号\[\]内的命令是可选的，这表明Flink允许你根据最符合你的要求来定义自己的window逻辑。

### 2. Keyed vs Non-Keyed Windows ###

首先，第一件事是指定你的数据流是分组的还是未分组的，这个必须在定义 window 之前指定好。使用 keyBy(…) 会将你的无限数据流拆分成逻辑分组的数据流，如果 keyBy(…) 函数不被调用的话，你的数据流将不是分组的。

在分组数据流中，任何正在传入的事件的属性都可以被当做key(更多详情请见:https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/api\_concepts.html\#specifying-keys )，`分组数据流将你的window计算通过多任务并发执行，以为每一个逻辑分组流在执行中与其他的逻辑分组流是独立地进行的`。

在非分组数据流中，你的原始数据流并不会拆分成多个逻辑流并且所有的window逻辑将在一个任务中执行，并发度为1。

--------------------

##### 参考：https://www.cnblogs.com/felixzh/p/9698073.html #####