Flink 1.17教程：Hadoop yarn会话运行模式

水深无声 2023-10-15 14:37 11阅读 0赞

## YARN运行模式\_环境准备 ##

YARN上部署的过程是：客户端把Flink应用提交给Yarn的ResourceManager，Yarn的ResourceManager会向Yarn的NodeManager申请容器。在这些容器上，Flink会部署JobManager和TaskManager的实例，从而启动集群。Flink会根据运行在JobManger上的作业所需要的Slot数量动态分配TaskManager资源。

[atguigu@node001 flink-1.17.0]$ source /etc/profile.d/my_env.sh 
    [atguigu@node001 flink-1.17.0]$ myhadoop.sh s
    Input Args Error...
    [atguigu@node001 flink-1.17.0]$ myhadoop.sh start
     ================ 启动 hadoop集群 ================
     ---------------- 启动 hdfs ----------------
    Starting namenodes on [node001]
    Starting datanodes
    Starting secondary namenodes [node003]
     --------------- 启动 yarn ---------------
    Starting resourcemanager
    Starting nodemanagers
     --------------- 启动 historyserver ---------------
    [atguigu@node001 flink-1.17.0]$ jpsall 
    ================ node001 ================
    9200 JobHistoryServer
    8416 NameNode
    8580 DataNode
    9284 Jps
    8983 NodeManager
    ================ node002 ================
    3892 ResourceManager
    3690 DataNode
    4365 Jps
    4015 NodeManager
    ================ node003 ================
    3680 DataNode
    3778 SecondaryNameNode
    3911 NodeManager
    4044 Jps
    [atguigu@node001 flink-1.17.0]$

## YARN运行模式\_会话模式 ##

这段命令是用于启动 Apache Flink 的 YARN 会话（session）的脚本，如下是每个选项和参数的含义：

*  `yarn-session.sh`：这是 Apache Flink 提供的用于在 YARN 上启动会话的脚本。
 *  `-d`：这是一个选项，表示以分离模式（detached mode）启动会话。在分离模式下，会话将在后台运行，并且脚本会立即返回。
 *  `-nm test`：这是另一个选项，用于指定会话的名称。在这个例子中，会话的名称被设置为 “test”。

综合起来，该命令的目的是在 YARN 上启动一个名为 “test” 的 Apache Flink 会话，并以分离模式运行。启动后，该会话将在后台运行，并且命令行提示符会立即返回，允许您继续执行其他操作。

[atguigu@node001 bin]$ ./yarn-session.sh --help
    [atguigu@node001 bin]$ ./yarn-session.sh
    [atguigu@node001 bin]$ ./yarn-session.sh -d -nm test

![img][]

![img][img 1]

![img][img 2]

![img][img 3]

## YARN运行模式\_会话模式的停止 ##

单作业模式部署：

在YARN环境中，由于有了外部平台做资源调度，所以我们也可以直接向YARN提交一个单独的作业，从而启动一个Flink集群。

![img][img 4]

停止job：

![img][img 5]

[img]: https://img-blog.csdnimg.cn/beae5c33308542509df8a644a2399ecd.png
[img 1]: https://img-blog.csdnimg.cn/1832ca1d680e41f690c42fcb92d29532.png
[img 2]: https://img-blog.csdnimg.cn/c53c211058ad452089977d106b6aa1dd.png
[img 3]: https://img-blog.csdnimg.cn/fef70eda71d54b518b91b168bd97b863.png
[img 4]: https://img-blog.csdnimg.cn/538fe9ee302d4c6693f3abda89fff2ca.png
[img 5]: https://img-blog.csdnimg.cn/4e4c5e1ab3424f779db34ea7c2266d25.png