Flink分层架构

电玩女神 2022-02-15 17:11 394阅读 0赞

##### 2.1 Flink结构与支持 #####

Flink是一个分层架构的系统，不同层的栈建立在其下层基础上，并且每一层所包含的组件都提供了特定的抽象，用来服务于上层组件。Flink分层的组件栈如下图所示（从下至上）：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xiODEyOTEzMDU5_size_16_color_FFFFFF_t_70]

1.  部署：Flink 支持本地运行、能在独立集群或者在被 YARN 或 Mesos 管理的集群上运行， 也能部署在云上。
2.  运行：Flink 的核心是分布式流式数据引擎，意味着数据以一次一个事件的形式被处理。
3.  API：DataStream、DataSet、Table、SQL API。
4.  扩展库：Flink 还包括用于复杂事件处理，机器学习，图形处理和 Apache Storm 兼容性的专用代码库。

<table> 
 <thead> 
  <tr> 
   <th>API支持</th> 
   <th>Libs支持</th> 
   <th>整合支持</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>DataStream</td> 
   <td>复杂事件处理（CEP）</td> 
   <td>Flink on YARN、Storm</td> 
  </tr> 
  <tr> 
   <td>DataSet</td> 
   <td>机器学习（FlinkML）</td> 
   <td>HDFS、Tachyon、S3、XtreemFS</td> 
  </tr> 
  <tr> 
   <td>Table</td> 
   <td>图分析处理（Gelly）</td> 
   <td>Kafka、RabbitMQ</td> 
  </tr> 
  <tr> 
   <td>Streaming</td> 
   <td>关系数据处理（Table）</td> 
   <td>HBase、ElasticSearch</td> 
  </tr> 
 </tbody> 
</table>

##### 2.2 Deployment调度层 #####

该层主要涉及了Flink的部署模式，Flink支持多种部署模式：本地、集群（Standalone/YARN）、云（GCE/EC2）。Standalone部署模式与Spark类似，Flink on YARN的部署模式如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xiODEyOTEzMDU5_size_16_color_FFFFFF_t_70 1]了解YARN的话，对上图的原理非常熟悉，实际Flink也实现了满足在YARN集群上运行的各个组件：Flink YARN Client负责与YARN RM通信协商资源请求，Flink JobManager和Flink TaskManager分别申请到Container去运行各自的进程。通过上图可以看到，YARN AM与Flink JobManager在同一个Container中，这样AM可以知道Flink JobManager的地址，从而AM可以申请Container去启动Flink TaskManager。待Flink成功运行在YARN集群上，Flink YARN Client就可以提交Flink Job到Flink JobManager，并进行后续的映射、调度和计算处理。

##### 2.3 Runtime层 #####

Runtime层提供了支持Flink计算的全部核心实现，比如支持分布式Stream处理、JobGraph到ExecutionGraph的映射、调度等等，为上层API层提供基础服务。

##### 2.4 API层 #####

API层主要实现了面向无界Stream的流处理和面向Batch的批处理API，其中面向流处理对应DataStream API，面向批处理对应DataSet API。

##### 2.5 Libraries层 #####

Libraries层也可以称为Flink应用框架层，根据API层的划分，在API层之上构建的满足特定应用的实现计算框架，也分别对应于面向流处理和面向批处理两类。

> 面向流处理支持：CEP（复杂事件处理）、基于SQL-like的操作（基于Table的关系操作）
> 
> 面向批处理支持：FlinkML（机器学习库）、Gelly（图处理）

1.  运行时层以JobGraph形式接收程序。JobGraph即为一个一般化的并行数据流图（data flow），它拥有任意数量的Task来接收和产生data stream。
2.  DataStream API和DataSet API都会使用单独编译的处理方式生成JobGraph。DataSet API使用optimizer优化器来决定针对程序的优化方法，而DataStream API则使用stream builder流生成器来完成该任务。
3.  在执行JobGraph时，Flink提供了多种候选部署方案（如local，remote，YARN等）。
4.  Flink附随了一些产生DataSet或DataStream API程序的的类库和API：处理逻辑表查询的Table，机器学习的FlinkML，图像处理的Gelly，复杂事件处理的CEP。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xiODEyOTEzMDU5_size_16_color_FFFFFF_t_70]: /images/20220215/0249e24806d6455593145b6c1295f3a9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xiODEyOTEzMDU5_size_16_color_FFFFFF_t_70 1]: /images/20220215/956d0036a9914b158dbe3d439cf5b848.png