Flink中水位线/Periodic周期水印/Punctuated每个事件水印实现原理/ PunctuatedWatermarks/PeriodicWatermarks

小咪咪 2021-09-25 03:36 465阅读 0赞

在用户代码中，我们设置生成水印和事件时间的方法assignTimestampsAndWatermarks（）中这里有个方法的重载

我们传入的对象分为两种：【2种生成水印的策略】【如果生成的watermark是null，或者小于之前的watermark，则该watermark不会发往下游】

AssignerWithPunctuatedWatermarks（为每条消息都会尝试生成水印）

AssignerWithPeriodicWatermarks（周期性的生成水印，不会针对每条消息都生成）

还有第三种策略是 无为策略：不设定watermark策略。

### AssignerWithPunctuatedWatermarks： ###

来看一下源码中是如何实现这两种水印的

二话不说打开org.apache.flink.streaming.runtime.operators.TimestampsAndPunctuatedWatermarksOperator.java

这个类的processElement方法

![70a3c7a96a793be82decd0361f53d5b2.png][]

看到源码这里这段逻辑就 非常的清晰了

先通过用户的代码获取到事件时间，注入到element里面就直接往下个opeartor发送了

然后通过用户代码获取水印，这里会判断水印是否为null

不为null的就直接往下游emit 了

### AssignerWithPeriodicWatermarks： ###

现在看一下AssignerWithPeriodicWatermarks如何周期的发送生成的水印

直接打开TimestampsAndPeriodicWatermarksOperator.java这个类

这里先不看processElement()方法,先看open方法

![8e62814055c86ac81f317a9710c3b692.png][]

可以看到它将  当前时间其实就是System.currentTimeMillis()+ watermarkInterval水印间隔 注册作为了一个timer定时器

这样就知道了，当他过了这个水印间隔时间以后肯定会触发操作

来看一下这个间隔时间以后触发了什么操作

![71d6ebc28001d887922c84a1e02ea605.png][]

可以看到，他先是获取了当前的水印时间，然后直接emit出去了？？？？

Periodic模式明明是在接收数据的processElement()发送水印的

然后又再次注册了一个 当前时间+间隔的 timer,这样就无限的触发下去了

既然他在这里发送了水印，来看下他的processElement方法

![085e203d1a87f23c4b34f0c0add5674a.png][]

果然他周期性的发送水印以后，接收数据的processElement()方法里面就没有发送水印了

只有获取事件时间的逻辑了。

转自：[https://www.cnblogs.com/ljygz/p/11435243.html][https_www.cnblogs.com_ljygz_p_11435243.html]

[70a3c7a96a793be82decd0361f53d5b2.png]: /images/20210923/2ad8fa62a6684107bc0991601c6e079b.png
[8e62814055c86ac81f317a9710c3b692.png]: /images/20210923/d98ac720ea9c45b5babe3a7b6afd54db.png
[71d6ebc28001d887922c84a1e02ea605.png]: /images/20210923/07acd0e6b1394c909d1c2737dc7da7fc.png
[085e203d1a87f23c4b34f0c0add5674a.png]: /images/20210923/79285aa8de98442da3c4fa867734e02a.png
[https_www.cnblogs.com_ljygz_p_11435243.html]: https://www.cnblogs.com/ljygz/p/11435243.html

发表评论取消回复

表情：

评论列表（有 0 条评论，465人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flink水印机制（watermark）

Flink流处理时间方式 EventTime 时间发生的时间，例如：点击网站上的某个链接的时间 IngestionTime

悠悠/ 2023年08月17日 15:16/ 0 赞/ 128 阅读

相关 Flink WaterMark水位线（水印）的深入理解

1，最近看书，结合一些视频，对水印的原理完全的理清楚了，也是个搬运工行为吧，希望做个总结，防止遗忘。我们首先得知道watermaker的作用： 1）非常重要的作用是

た入场券/ 2023年07月03日 10:50/ 0 赞/ 20 阅读

相关 Flink生成时间戳/水印

一.概述生成时间戳/水印与在事件时间有关。有关事件时间，处理时间和摄取时间，参考：[事件时间概述][Link 1] 为了处理事件时间，流式传输程序需要相应地设置时间

「爱情、让人受尽委屈。」/ 2023年02月17日 03:47/ 0 赞/ 22 阅读

相关 java 图片添加水印(文字水印+图片水印)

一、图片水印(水印文件覆盖到源文件上) / @param buffImg 源文件(BufferedImage) @par

曾经终败给现在/ 2023年01月09日 15:50/ 0 赞/ 381 阅读

相关 Flink自定义事件事件和水位线

目录主类 pom.xml 结果输出 -------------------- 主类 package myflink.EventTime;

刺骨的言语ヽ痛彻心扉/ 2022年10月16日 03:56/ 0 赞/ 209 阅读

相关 Java 实现图片水印之文字水印（SpringMVC + Jsp）

> 看之前要先对SpringMVC 有点了解。。。直接先看效果图 ![这里写图片描述][20160509131218760] ![这里写图片描述][20160509

叁歲伎倆/ 2022年08月22日 00:25/ 0 赞/ 408 阅读

相关 java 添加水印清除水印

在学生时代便实现java打水印的程序，现在工作却找不到曾经写的代码，记录下来方便以后使用。先谈谈需求： ①一张图片可以被多张logo打水印，但一张图片只能打一个水印，避免

电玩女神/ 2022年07月21日 01:26/ 0 赞/ 448 阅读

相关【Flink】Flink的事件时间及watermark水印讲解-附代码实例

代码链接：[https://github.com/18113996630/flink-practice/blob/master/src/main/scala/com/hrong

谁践踏了优雅/ 2022年04月25日 07:24/ 0 赞/ 451 阅读

相关 Flink 水印简单理解

看下图：为啥只有一个触发， WaterMark 时间 >= window结束时间第一条日志时间16:25:24 正好在 window \[16:25:20 16:2

Myth丶恋晨/ 2021年12月05日 20:45/ 0 赞/ 259 阅读

相关 Flink中水位线/Periodic周期水印/Punctuated每个事件水印实现原理/ PunctuatedWatermarks/PeriodicWatermarks

在用户代码中，我们设置生成水印和事件时间的方法assignTimestampsAndWatermarks（）中这里有个方法的重载我们传入的对象分为两种：【2种生成水印的策略

小咪咪/ 2021年09月25日 03:36/ 0 赞/ 466 阅读