4.1.7 Flink-流处理框架-Flink On Yarn（Session-cluster+Per-Job-Cluster）

拼搏现实的明天。 2022-12-31 06:23 32阅读 0赞

**目录**

1.写在前面

2.两种在 yarn 上运行的模式

2.1 Session-cluster 模式

2.2 Per-Job-Cluster 模式

3.Session-cluster 模式的启动方式

4.Per-Job-Cluster 模式启动方式

--------------------

# 1.写在前面 #

以Yarn模式部署Flink任务时，要求Flink是有 Hadoop 支持的版本，Hadoop 环境需要保证版本在 2.2 以上，并且集群中安装有 HDFS 服务。

# 2.两种在 yarn 上运行的模式 #

Flink 提供了两种在 yarn 上运行的模式，分别为 Session-Cluster 和 Per-Job-Cluster 模式。

## 2.1 Session-cluster 模式 ##

Session-Cluster 模式需要先启动集群，然后再提交作业，接着会向 yarn 申请一 块空间后，资源永远保持不变。如果资源满了，下一个作业就无法提交，只能等到 yarn 中的其中一个作业执行完成后，释放了资源，下个作业才会正常提交。所有作 业共享 Dispatcher 和 ResourceManager；共享资源；适合规模小执行时间短的作业。

***在 yarn 中初始化一个 flink 集群，开辟指定的资源，以后提交任务都向这里提交。这个 flink 集群会常驻在 yarn 集群中，除非手工停止。***

![20201228202616146.png][]

## 2.2 Per-Job-Cluster 模式 ##

一个 Job 会对应一个集群，每提交一个作业会根据自身的情况，都会单独向 yarn 申请资源，直到作业执行完成，一个作业的失败与否并不会影响下一个作业的正常提交和运行。独享 Dispatcher 和 ResourceManager，按需接受资源申请；适合规模大长时间运行的作业。

每次提交都会创建一个新的 flink 集群，任务之间互相独立，互不影响，方便管理。任务执行完成之后创建的集群也会消失。

![20201228202718916.png][]

# 3.Session-cluster 模式的启动方式 #

1) 启动 hadoop 集群（略）

2) 启动 yarn-session

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70][]

3) 执行任务

./flink run -c com.atguigu.wc.StreamWordCount
    FlinkTutorial-1.0-SNAPSHOT-jar-with-dependencies.jar --host lcoalhost –port 7777

4) 去 yarn 控制台查看任务状态

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1][]

5) 取消 yarn-session

yarn application --kill application_1577588252906_0001

# 4.Per-Job-Cluster 模式启动方式 #

1) 启动 hadoop 集群（略）

2) 不启动 yarn-session，直接执行 job

./flink run –m yarn-cluster -c com.atguigu.wc.StreamWordCount
    FlinkTutorial-1.0-SNAPSHOT-jar-with-dependencies.jar --host lcoalhost –port
    7777

[20201228202616146.png]: /images/20221120/2ec7e811fc0c4c9c8adbc33e381b185f.png
[20201228202718916.png]: /images/20221120/2696236088e24ed79f872bbe48b41686.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70]: /images/20221120/83cf56b5edb64baf8186bd475ff9dd65.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1]: /images/20221120/0ee9a4b1d2c44a5eaa2c90056182c3a1.png