Flink On Yarn 架构/Job启动流程/部署模式

港控/mmm° 2021-09-25 03:04 403阅读 0赞

# ![ee7ddfda607ff7aa708b9b51bdd43167.png][] #

[https://www.cnblogs.com/163yun/p/9882411.html][https_www.cnblogs.com_163yun_p_9882411.html]

\-------------------

Flink 和spark一样有三种部署模式，分别是 Local、Standalone Cluster 和 Yarn Cluster。

实战开发主要使用Yarn Cluster模式，所以本文主要介绍yarn  模式下flink任务的执行和资源分配。

# **Yarn Cluster 模式** #

在图中可以看出，Flink 与 Yarn 的关系与** MapReduce 和 Yarn 的关系是一样的**。Flink 通过 Yarn 的接口实现了自己的 App Master。当在 Yarn 中部署了 Flink，**Yarn 就会用自己的 Container 来启动 Flink 的 JobManager**（也就是 App Master）和 TaskManager。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMDIxODQ_size_16_color_FFFFFF_t_70][]

[https://www.pianshen.com/article/184853770/][https_www.pianshen.com_article_184853770]

\-------------------

《Flink原理、实战与性能优化》P11,也有基本架构图，说的也很好。

\-------------------

[https://blog.csdn.net/super\_wj0820/article/details/90726768][https_blog.csdn.net_super_wj0820_article_details_90726768] 《基于Flink1.8的Flink On Yarn的启动流程》

[ee7ddfda607ff7aa708b9b51bdd43167.png]: /images/20210923/259566e7a5df43aebcfaded4e9177b9b.png
[https_www.cnblogs.com_163yun_p_9882411.html]: https://www.cnblogs.com/163yun/p/9882411.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwMDIxODQ_size_16_color_FFFFFF_t_70]: /images/20210923/675655b5d59e469892e70b1f834c5613.png
[https_www.pianshen.com_article_184853770]: https://www.pianshen.com/article/184853770/
[https_blog.csdn.net_super_wj0820_article_details_90726768]: https://blog.csdn.net/super_wj0820/article/details/90726768