Flink窗口概念Window

╰半夏微凉° 2021-11-04 13:50 329阅读 0赞

概述

> Streaming 流式计算是一种被设计为用于处理无线数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而window是一种切割无限数据为 有限块 处理的手段

> 常用于统计某段时间内某网站点击量等

window组成

每个窗口算子中包含了

1.  Windows Assigner
2.  WIndows Trigger(窗口触发器)
3.  Evictor(数据剔除器)
4.  Lateness(时延设定)
5.  OutputTag(输出标签)
6.  Windwos Function(窗口计算函数)

> 其中WIndows Assigner 和Windows Function是所有窗口算子必须指定的属性

Windows Assigner

运用窗口计算时，FLink会根据上游数据集是否按照key分区进行不同的调用,如果按照key分区，则是KeyedStream, 则调用DataStream API 的Window()方法指定Windows Assigner, 如果没有按照key 分区，则是Non-keyed类型，调用WindowsAll()方法指定 Windows Assigner, 计算并得到全局统计结果

inputStream.keyBy(input=>input.id).window(newMyWindowsAssigner())
    //对于DataStream数据集，直接调用windowALL指定Windows Assigner
    imputstream.windowAll(new MyAllWindowsAssigner())

Window类型

*  CountWindow： 按照指定的数据条数生成一个Window，与时间无关
 *  TImeWindow: 按照时间生成window

> 对于TimeWindow，可以根据窗口实现原理的不同分成三类： 滚动窗口，滑动窗口和会话窗口

滑动窗口

特点

> 时间对其，窗口长度固定，没有重叠(多个窗口之间不会重叠，以window size划分某个窗口)

适用场景:

> 适合做BI统计等

![image][]

滚动窗口API

val minTempPerWindow = dataStream
      .map(r => (r.id, r.temperature))
      .keyBy(_._1)
      .timeWindow(Time.seconds(15))
      .reduce((r1, r2) => (r1._1, r1._2.min(r2._2)))

滑动窗口

滑动窗口是固定窗口的更广义的一种形式，滑动窗口由固定的窗口长度和滑动间隔组成

特点：

> 时间对齐，窗口长度固定，有重叠 ![image][image 1]

滑动窗口API

val minTempPerWindow: DataStream[(String, Double)] = dataStream
      .map(r => (r.id, r.temperature))
      .keyBy(_._1)
      .timeWindow(Time.seconds(15), Time.seconds(5))
      .reduce((r1, r2) => (r1._1, r1._2.min(r2._2)))

会话窗口

由一系列事件组合一个指定长度的timeout间隙组成， 一段时间没有接收到新数据就会生成新的窗口

特点

> 时间无对齐

![image][image 2]

CountWindow

根据窗口中相同key元素的数据量来触发执行，执行时只计算元素数量达到窗口大小的key对应的结果

计算相同key的个数

val minTempPerWindow: DataStream[(String, Double)] = dataStream
      .map(r => (r.id, r.temperature))
      .keyBy(_._1)
      .countWindow(5).reduce((r1, r2) => (r1._1, r1._2.max(r2._2)))

Window Function

1.  ReudeFunction: reduce()
2.  AggregateFuntion
3.  Fold Function
4.  ProcessWindow Function

[image]: /images/20211104/bf526c04f68d4345a278339d239c1b66.png
[image 1]: /images/20211104/200b8396d7114248a3123d614c802c25.png
[image 2]: /images/20211104/5910193972ad4a6590eadfec3f3f5f7a.png