Flink数据流编程模型【抽象级别、数据流、视图、检查点】

今天药忘吃喽~ 2023-03-12 12:15 4阅读 0赞

## 一.抽象级别 ##

Flink提供了不同级别的抽象来开发流处理/批处理应用程序。如图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAwNzIz_size_16_color_FFFFFF_t_70]

*  最低级别的抽象仅提供状态流。它通过Process Function嵌入到DataStream API中。它允许用户自由地处理一个或多个流中的事件，并使用一致的容错状态。此外，用户可以将注册事件时间和处理时间回调，从而允许程序实现复杂的计算。
 *  实际上，大多数应用程序不需要上述低级抽象，而是针对核心API进行编程，例如DataStream API和DataSet API。这些流畅的API为数据处理提供了通用的构建块，例如各种形式的用户指定的转换、链接、聚合、窗口、状态等。这些API中处理的数据类型以相应编程语言中的类表示。
 *  Table API是声明性的DSL表，其可被动态地修改。该表API遵循【扩展】关系模型：表有一个模式连接【类似于在关系数据库中的表】和API提供可用的操作，如选择，连接 ，分组，聚合等。表API程序以声明的方式定义应该进行哪些逻辑运算，而不确切地定义运算的代码风格。尽管Table API可以通过各种类型的用户定义函数进行扩展，但它的表达能力不如Core API，但使用起来更加简洁。此外，Table API程序经过了优化程序，该优化程序在执行之前应用优化规则。  
    Table API可以在表和DataStream/DataSet之间无缝转换，从而允许程序在Table API以及DataStream和DataSet API中混合使用。
 *  Flink提供的最高级别的抽象是SQL。这种抽象在语义和表达方式上均类似于Table API，但是将程序表示为SQL查询表达式。在SQL抽象与表API SQL查询紧密地相互作用，并且可以在定义的表中执行表API。

## 二.程序和数据流 ##

Flink程序的基本构建块是流和转换【Flink的DataSet API中使用的DataSet也是内部流】。从概念上讲，流是数据记录流，而转换是将一个或多个流作为一个操作的输入，并产生一个或多个输出流。  
执行时，Flink程序将映射到由流到转换算子组成的流数据流。每个数据流都以一个或多个源开始，并以一个或多个接收器结束。数据流类似于任意有向无环图。尽管可以通过迭代构造来允许特殊形式的循环，但是在大多数情况下，还是很少使用。![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAwNzIz_size_16_color_FFFFFF_t_70 1]  
程序中的转换与数据流中的运算符之间通常存在一一对应的关系。但是，有时一个转换可能包含多个转换运算符。

## 三.并行数据流 ##

Flink中的程序本质上是并行和分布式的。在执行期间，一个流具有一个或多个流分区，并且每个运算符具有一个或多个运算符子任务。操作的子任务彼此独立，并在不同的线程中执行，并且可能在不同的机器或容器上执行。  
操作的子任务的数量是该特定操作的并行性。流的并行性始终是其处理操作的并行性。同一程序的不同运算符可能具有不同的并行度。![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAwNzIz_size_16_color_FFFFFF_t_70 2]  
流可以按一对一【转发、重新分配】在两个运算符之间传输数据：

*  一对一：【上图中的Source和map运算符之间】保留元素的分区和排序。这意味着map运算符的subtask将以与Source运算符的subtask产生的相同元素顺序。
 *  重新分配：【上图中的map和keyBy/window之间以及keyBy/window和Sink之间】会更改流的分区。每个操作子任务都将数据发送到不同的目标子任务，具体取决与所选的转换。实例是keyBy【通过散列键重新分区】，broadcast或rebalance【随机重新分区】。在重新分配交换中，元素之间的顺序保留在每对发送和接收子任务中。因此，在此实例中，保留了每个键内的顺序，但是并行性确实引入了不确定性，即不同键的聚合结果到达接收器的顺序。

## 四.视图 ##

汇总事件【比如计数、总和等】在流上的工作方式与批处理中的不同。例如，不可能计算流中的所有元素，因为流通常是无限的。相反，流上的聚合由窗口确定范围，例如：过去5分钟内的计数或最近100个元素的总和。  
windows可以是事件驱动的【例如：每30秒】或数据驱动的【例如：每100条数据】。通常可以区分不同类型的窗口，例如滚动窗口【无重叠】、滑动窗口【有重叠】和会话窗口【由不活动的间隙打断】。如图：  
![在这里插入图片描述][20200515112318516.png]

## 五.时间 ##

在流式传输程序中引用时间【例如：定义窗口】时，可以引用不同的时间概念：

*  事件时间：创建事件的时间。通常用事件中的时间戳来描述，例如由生产传感器或生产服务附加。Flink通过时间戳分配器访问事件时间戳。
 *  接收时间：事件在源操作进入Flink数据流的时间。
 *  处理时间：每个执行基于时间的操作的本地时间。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAwNzIz_size_16_color_FFFFFF_t_70 3]  
    详细解释参考：[Flink时间详解][Flink]

## 六.有状态的操作 ##

尽管数据流中的许多操作一次仅查看一个事件【例如事件解析器】，但某些操作会记住多个事件的信息【例如窗口运算符】。这些操作称为有状态。  
有状态操作的状态以可以被认为是嵌入式键/值存储的方式维护。严格将状态与有状态运算符读取的流一起进行分区和分发。因此，只有在keyBy()函数之后，才可以在流上访问键/值状态，并且仅限于与当前事件的键关联的值。对齐流和状态的键可确保所有状态更新都是本地操作，从而确保了一致性而没有事务开销。这种对齐方式还允许Flink重新分配状态并透明地调整流分区。如图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAwNzIz_size_16_color_FFFFFF_t_70 4]

## 七.容错检查点 ##

Flink通过结合流重播和检查点来实现容错。检查点与每个输入流中的特定点以及每个运算符的对应状态有关。通过恢复操作的状态并从检查点开始重放事件，可以从检查点恢复流数据流，同时保持一致性【一次处理语义】。  
检查点间隔是在执行过程中权衡容错开销与恢复时间的一种方法。

## 八.串流处理 ##

Flink执行批处理程序，这是流程序的特例，其中流是有界的。数据集在内部视为数据流。因此，及适用于批处理程序，也适用于流式程序，但有少量例外：

*  批处理程序的容错功能不使用检查点。通过完全重播流来进行恢复。这是可能的，因为输入是有界的。这将成本更多地推向了恢复，但由于避免了检查点，因此使常规处理的成本降低了。
 *  DataSet API中的状态操作使用简化的内存中/核外数据结构，而不是键/值索引。
 *  DataSet API引入了特殊的同步【基于超步】迭代，仅在有限流上才有可能。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAwNzIz_size_16_color_FFFFFF_t_70]: /images/20230312/9b4683581bea4628a3eded053af6670c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAwNzIz_size_16_color_FFFFFF_t_70 1]: /images/20230312/35e89a3c0a2e48669a80fe149495bd74.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAwNzIz_size_16_color_FFFFFF_t_70 2]: /images/20230312/8b8e7376c8984ef6833132508b8e7ed3.png
[20200515112318516.png]: /images/20230312/8811ca2a13b44f59afb0c2a5e88451d0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAwNzIz_size_16_color_FFFFFF_t_70 3]: /images/20230312/b4d4cb2d0fe14dee8e34fd2874b6f5ea.png
[Flink]: https://blog.csdn.net/qq_27600723/article/details/106090412
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI3NjAwNzIz_size_16_color_FFFFFF_t_70 4]: /images/20230312/1974f74e4bee4e47997bba0a451c79ca.png