Flink 三种时间机制、窗口机制与 sparkStreaming storm 区别

心已赠人 2021-09-25 04:34 461阅读 0赞

窗口的使用方式：

DataStream input = ;

input.keyBy(new MyKeyselector())

.window(TumblingEventTimeWindows.of(Time.seconds(5))) //assigner

.evictor(TimeEvictor.of(Time.of(2,TimeUnit.SECONDS))) //evictor

.trigger(EventTimeTrigger.create()) //trigger

.allowedLateness(Time.seconds(1))

.apply(new MyWindowFunction())

.addSink(new MySink());

**1.flink**

时间机制：

Flink提供了EventTime, ProcessTime, IngestionTime三种类型的时间来表示流式系统的时间概念，具体解释如下：

![a9b193489524e2fde0507062a11b73f4.png][]

EventTime: 事件时间，就是产生这条信息的时间，比如app上报日志的时间；

ProcessTime: 处理时间，就是flink算子处理到这条信息的系统时间；

IngestionTime: 注入时间，可以理解为消息刚进入flink source的时间；

窗口机制：(流式数据--> 批处理的桥梁)

举个栗子

比如一个消息流过来，对于每条record消息，需要有个windowAssigner(分配者)来决定要把这条消息发到哪个window，还需要个windowTigger(驱动者)来决定什么条件下触发window进行计算，最后还需要一个Evictor(丢弃者)来决定窗口的哪些消息需要被扔掉，Assigner是把消息扔进窗口，Evictor是把消息从窗口拿出来扔掉。

![db4fed43597084fdb91cd9ddc6f1aa89.png][]

assigner: 决定把消息放到哪个窗口或者多个窗口

trigger: 决定窗口什么时候被触发计算

edivctor: 决定把哪些消息从窗口里拿出来丢弃掉

其中窗口类型：

CountWindow：基于消息数量的窗口

TimeWindow：基于时间的窗口

SessionWindow(平时比较少用)

重点看下这两种类型：

CountWindow:

1. tumbling (无重叠，只需要指定一个count数)

2. sliding (有重叠，需要指定两个参数：a. 窗口count数大小; b. 间隔的个数)

TimeWindow:

1. tumbling (无重叠，只需要指定一个time数)

2. sliding (有重叠，需要指定两个参数：a. 窗口time时间大小；b. 间隔的时间)

理论上窗口能组合出这么多的类型：

**time/count(窗口类型) \* tumbling/sliding(有无重叠) \* eventtime/processtime(时间类型)**

**窗口聚合方式：**

**增量：(增量聚合是在上一次聚合的结果上，新来的数据在此基础上做聚合)**

** **reduce(reduceFunction)

aggregate(aggregateFunction)

**全量:(每次都是窗口里所有的数据做全量的聚合)**

** **apply(applyFunction)

process(processFunction)

Flink处理乱序问题，其实就是使用EventTime + waterMark + window一套组合拳。

a.stream env环境指定使用EventTime;

b.数据源source分配watermark时间戳；

c.timewindow指定**窗口时间**和**延迟时间;**

d.对延迟数据可以使用旁路输出输出到其他消息队列等；

**2.sparkStreaming**

sparkStreaming只支持process time

支持时间滑动窗口

![2664a9fbf7ba645fa51434940d89eae3.png][]

如图所示，滑动窗口宽度是3个时间单位，滑动时间是2两个单位，就是设置两个参数：1个是窗口时间大小，1个是滑动间隔时间大小：

window(windowLength, slideInterval)

**3.storm**

storm支持event time 和 process time

支持CountWindow 和 TimeWindow(包括tumbling和sliding方式)

这三种看我如此厚此薄彼讲叙也明白了，Flink牛逼啊，在时间和窗口机制的支持更丰富。

参考 [https://blog.csdn.net/weixin\_39980353/article/details/112247179][https_blog.csdn.net_weixin_39980353_article_details_112247179]

[a9b193489524e2fde0507062a11b73f4.png]: /images/20210923/f4fe7af4078c4cf1b4d9e59b08b01207.png
[db4fed43597084fdb91cd9ddc6f1aa89.png]: /images/20210923/c962c331c3e041e8a90c2b345f5063a8.png
[2664a9fbf7ba645fa51434940d89eae3.png]: /images/20210923/724721fa6ba94c1d85f46655f87543da.png
[https_blog.csdn.net_weixin_39980353_article_details_112247179]: https://blog.csdn.net/weixin_39980353/article/details/112247179