Flink内部架构（Internals）- Component Stack（基础组件架构）

柔光的暖阳◎ 2024-04-17 05:33 26阅读 0赞

作为一个流批一体架构，Flink是一个分层的系统。堆栈的不同层相互构建，并提高它们接受的程序表示的抽象级别：

*  runtime 以 JobGraph 的形式接收处理程序。JobGraph 是一个公用的数据流载体，有生产和消费数据流的任务。
 *  DataStream API 和 DataSet API 都通过单独的编译生成 JobGraphs，DataSet API 使用优化器来确定程序的最佳计划，而DataStream API 使用流构建器。
 *  JobGraph 是根据 Flink 中可用的各种部署选项执行的(例如，local, remote, YARN 等)
 *  与 Flink 绑定的库和 API 生成 DataSet 或 DataStream API 程序。这些表用于逻辑表查询、复杂事件处理和图形处理。

架构图如下，你可以点击下方的目录查阅相关组件的详细介绍：

![Apache Flink: Stack][Apache Flink_ Stack]

**Local（Single JVM）:**[Flink基础 之 本地搭建教程][Flink_ _]

**Cluster（Standalone，YARN）:**[Flink 集群部署 之 YARN配置（YARN Setup）][Flink _ _ YARN_YARN Setup]

**Cloud（GCE，EC2）:**略。。。

**Runtime（Distributed Streaming Dataflow）：**[Flink基础 之 分布式运行环境（Runtime Environment）][Flink_ _ _Runtime Environment]

**DataStream API（Stream Processing）：**[Flink流处理（DataStream API）概览（Data Source、Data Sink）][Flink_DataStream API_Data Source_Data Sink]

**DataSet API（Batch Processing）：**略。。。

**CEP（Event Processing）：**[Flink 的库（Libraries） 之 FlinkCEP - Flink的复杂事件处理][Flink _Libraries_ _ FlinkCEP - Flink]

**Table API & SQL （Relational）：**[Flink Table API & SQL - 开发基础代码样例和maven依赖][Flink Table API _ SQL - _maven]

[Apache Flink_ Stack]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jaS5hcGFjaGUub3JnL3Byb2plY3RzL2ZsaW5rL2ZsaW5rLWRvY3MtcmVsZWFzZS0xLjgvZmlnL3N0YWNrLnBuZw?x-oss-process=image/format,png
[Flink_ _]: https://blog.csdn.net/zpf_940810653842/article/details/100780788
[Flink _ _ YARN_YARN Setup]: https://blog.csdn.net/zpf_940810653842/article/details/100158783
[Flink_ _ _Runtime Environment]: https://blog.csdn.net/zpf_940810653842/article/details/100971758
[Flink_DataStream API_Data Source_Data Sink]: https://blog.csdn.net/zpf_940810653842/article/details/99735041
[Flink _Libraries_ _ FlinkCEP - Flink]: https://blog.csdn.net/zpf_940810653842/article/details/101221492
[Flink Table API _ SQL - _maven]: https://blog.csdn.net/zpf_940810653842/article/details/101056212