Flink 看书有感--几大疑惑有感

小咪咪 2023-07-03 04:40 33阅读 0赞

1.看的什么书？

《基于Apache Flink的流处理》，我开始翻了几页书的时候，我感觉要翻车了，都是文字性的描述，而且版本是1.7版本，还没有我想看的Flink SQL 以及 Flink 实时数仓。

2，后面呢，有什么收获。

我来慢慢的写出来，有些可能是很简单的，有些我自己可能表达的不是很好，有时间就慢慢更新这个文章，毕竟一个多月没写过博客了，哈哈哈哈，有点太懒了。。。。

可能会上传一点手机拍的图片哈，我觉得比较省事。

1）使用过Flink的小伙伴知道，在测试的时候呢，需要在Flink web端看打印的日志，需要手动刷新，而且你打印的日志太多，容易卡。解决方法：

我们首先得知道日志会重定向到./log目录下的文件，我们应该去tail 文件就可以了。

$ tail -f ./log/flink-<user>-taskexecutor-<n>-<hostname>.out

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70][]

2) 结果故障 ，一致性有几种情况

至多一次，最简单的情况，事件可以随意丢弃

至少一次，数据可能会重复

精确一次，这是最难实现的一类保障，Flink 采用了轻量化检查点机制来实现精确一次结果保障。

端到端的精确一次

3）Flink搭建的所需4个组件功能

Jobmanager ：控制单个应用程序的执行

resourceManager：负责管理Flink的处理资源单元 slots

taskManager： 工作进程，具体执行者

Dispacher ： 提供接口让我们提交需要执行的应用

4）图解算子，并行度，slots的关系

下图有A B C D E 五个算子，总共有4个slot槽，E的并行度是2，所以分配在2个slot里面，其余的类似。为哈很多算子公用slot就是默认的，这个实际是可以隔离的，chain关系也是可以断开的，这是Flink默认情况下做的优化，多个任务都在同一个进程高效的执行数据交换，减少网络传输等开销，比如 A-B-D-E 在slot1.2。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 1][]

5）Flink数据传输了解的真相，这点之前真不是很清楚，学到了

在任务的进行中会持续的进行数据交换，TaskManger辅负责将数据从发送任务传输至接收任务，**它的网络模块在记录传输之前会先把数据收集到缓冲区**。

也即是说每个TM都有一个用于收发数据的网络缓冲区，缓冲区默认大小是32KB。

如果一个slot里面接收端的并行度为4的话，那么相应的发送端和缓冲区的并行度都是4，如下图所示，展示的是2个TM的数据交换：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 2][]

6）任务链接---就是多个算子融合，在同一个任务，在同一个线程里面执行，好处是 函数之间的记录传输基本不存在序列化以及通信开销

反之，也有非链接，就是算子独立出来，每个函数都交给独立的任务，在特点的线程里面执行，那么函数与函数之间的数据需要序列化，反序列化了，增加了开销，一般使用时针对任务比较重的单个算子，讲之独立出来。

7）流连接  connect 对应的函数方法coMap 和 coFlatMap

val connDs = firstDstream.connect(secondDstream)

connDs 对象类似为ConnectedDtreams ，这个对象有2个方法 一个是map()方法，一个是flatMap()方法

分别接收一个coMapFunction和一个CoFlatMapFunction作为参数

8）动态设置并行度

获取默认并行度

val  p = env.getParallelism

设置为默认的2倍

map.setParallelism(p\*2)

9）基于间隔的Join --这个是实际业务中有用到的

keyBy().between(时间，时间).process(ProcessJoinFunction)

10) 指定算子唯一标识--是非常有用的

map().uid("map\_1")

11) 温度的案例，我之前以为理解了processFunction的函数案例，现在才明白了每个方法的含义，什么是计时器，计时器的作用以及onTimer回调函数，在书197页案例很清楚

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 3][]

12）修改算子的状态，是可以实现的，在200页

13）可查询时状态服务

可以通过配置实现代码查询。 书204页开始

14）命令

正在运行的应用：

./bin/flink list -r

生存和清除保存点：

./bin/flink savepoint  jobid

./bin/flink savepoint  -d  hdfs:\\\\\\xxxxxx

取消应用：

/bin/flink cancel jobid

从保存点启动任务应用：

应用的扩缩容，这个很有意思：

在书290页

15）rest API查询  --书292页面

curl -X GET http://xxx/v1/overview

16）WEB UI 的指标说明 在书313页开始

17）设置日志行为 在书323，这都是之前走的坑 这里写出来了

先写这些吧，这本书真的值得看看。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200202030110297.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200203041428113.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200203042617506.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/202002030610293.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz,size_16,color_FFFFFF,t_70