Flink On YARN

缺乏、安全感 2021-09-23 15:12 346阅读 0赞

## 1. 两种模式 ##

### 1. 共用一个 yarn-session ###

在 YARN 中初始化一个 Flink 集群，初始化好资源，提交的任务都在这个集群执行，共用集群的资源。

这个 Flink集群常驻在 YARN 集群中，要关闭可以手动停止。

### 2. 每个Job启动一个集群 ###

每次提交都会创建一个新的 Flink 集群，Job之间是互相独立的。任务执行完之后集群会注销。

## 2. yarn-session 模式 ##

**yarn-session.sh + flink run**

### 1. 启动常驻的 Flink 集群 ###

yarn-session.sh -n 3 -s 5 -jm 1024 -tm 4096 -d

### 2. 查看集群 ###

yarn application -list
    yarn-session.sh -id application_id

### 3. 提交任务 ###

flink run $FLINK_HOME/examples/batch/WordCount.jar \
    -output hdfs:///wordcount-result.txt

### 4. 关闭集群 ###

yarn application -kill Application-Id

### 5. 参数 ###

yarn-session参数

<table style="width:500px;"> 
 <tbody> 
 <tr> 
 <td style="width:80px;">参数</td> 
 <td style="width:419px;">说明</td> 
 </tr> 
 <tr> 
 <td style="width:80px;">-n</td> 
 <td style="width:419px;">分配多少个Container (taskmanager数量)&nbsp;，必选</td> 
 </tr> 
 <tr> 
 <td style="width:80px;">-s</td> 
 <td style="width:419px;">每个 TaskManager 中 Slot 的数量</td> 
 </tr> 
 <tr> 
 <td style="width:80px;">-j</td> 
 <td style="width:419px;">Flink jar 文件的路径</td> 
 </tr> 
 <tr> 
 <td style="width:80px;">-jm</td> 
 <td style="width:419px;">JobManager 容器的内存（默认值：MB）</td> 
 </tr> 
 <tr> 
 <td style="width:80px;">-tm</td> 
 <td style="width:419px;">每个 TaskManager 容器的内存（默认值：MB）</td> 
 </tr> 
 <tr> 
 <td style="width:80px;">-nm</td> 
 <td style="width:419px;">在 YARN 上为应用程序设置自定义名称</td> 
 </tr> 
 <tr> 
 <td style="width:80px;">-d</td> 
 <td style="width:419px;">以分离模式运行，后台执行</td> 
 </tr> 
 <tr> 
 <td style="width:80px;">-D</td> 
 <td style="width:419px;">以配置文件中的设置加载资源</td> 
 </tr> 
 <tr> 
 <td style="width:80px;">-id</td> 
 <td style="width:419px;">指定yarn的任务ID</td> 
 </tr> 
 <tr> 
 <td style="width:80px;">-nl</td> 
 <td style="width:419px;">为YARN应用程序指定YARN节点标签</td> 
 </tr> 
 <tr> 
 <td style="width:80px;">-q</td> 
 <td style="width:419px;">显示可用的YARN资源（内存，内核）</td> 
 </tr> 
 <tr> 
 <td style="width:80px;">-qu</td> 
 <td style="width:419px;">指定YARN队列</td> 
 </tr> 
 <tr> 
 <td style="width:80px;">-st</td> 
 <td style="width:419px;">以流模式启动Flink</td> 
 </tr> 
 <tr> 
 <td style="width:80px;">-z</td> 
 <td style="width:419px;">命名空间，用于为HA模式创建Zookeeper子路径</td> 
 </tr> 
 </tbody> 
</table>

## **3. yarn-cluster 模式** ##

**flink run -m yarn-cluster**

### 1. 启动集群，提交任务 ###

flink run -m yarn-cluster $FLINK_HOME/examples/batch/WordCount.jar

flink run -m yarn-cluster -yn 3 -yjm 1024 -ytm 1024 $FLINK_HOME/examples/batch/WordCount.jar

### 2. 参数 ###

yarn-cluster 参数

<table style="width:500px;"> 
 <tbody> 
 <tr> 
 <td style="width:92px;">参数</td> 
 <td style="width:407px;">说明</td> 
 </tr> 
 <tr> 
 <td style="width:92px;">-m</td> 
 <td style="width:407px;">指定资源调度系统</td> 
 </tr> 
 <tr> 
 <td style="width:92px;"> -yn </td> 
 <td style="width:407px;"> container容器个数，TaskManager 的数量 </td> 
 </tr> 
 <tr> 
 <td style="width:92px;"> -ys </td> 
 <td style="width:407px;"> 每个 TaskManager 中 Slot 的数量 </td> 
 </tr> 
 <tr> 
 <td style="width:92px;"> -yjm </td> 
 <td style="width:407px;"> JobManager 容器的内存（默认值：MB） </td> 
 </tr> 
 <tr> 
 <td style="width:92px;"> -ytm </td> 
 <td style="width:407px;"> 每个 TaskManager 容器的内存（默认值：MB） </td> 
 </tr> 
 <tr> 
 <td style="width:92px;"> -ynm </td> 
 <td style="width:407px;"> 在 YARN 上为应用程序设置自定义名称 </td> 
 </tr> 
 <tr> 
 <td style="width:92px;"> -d </td> 
 <td style="width:407px;"> 以分离模式运行，后台执行 </td> 
 </tr> 
 <tr> 
 <td style="width:92px;"> -yD </td> 
 <td style="width:407px;"> 以配置文件中的设置加载资源 </td> 
 </tr> 
 <tr> 
 <td style="width:92px;"> -yid </td> 
 <td style="width:407px;"> 指定yarn的任务ID </td> 
 </tr> 
 <tr> 
 <td style="width:92px;"> -ynl </td> 
 <td style="width:407px;"> 为 YARN 应用程序指定 YARN 节点标签 </td> 
 </tr> 
 <tr> 
 <td style="width:92px;"> -yq </td> 
 <td style="width:407px;"> 显示可用的YARN资源（内存，内核） </td> 
 </tr> 
 <tr> 
 <td style="width:92px;"> -yqu </td> 
 <td style="width:407px;"> 指定YARN队列 </td> 
 </tr> 
 <tr> 
 <td style="width:92px;"> -yst </td> 
 <td style="width:407px;"> 以流模式启动Flink </td> 
 </tr> 
 <tr> 
 <td style="width:92px;"> -z </td> 
 <td style="width:407px;"> 命名空间，用于为高可用性模式创建Zookeeper子路径 </td> 
 </tr> 
 <tr> 
 <td style="width:92px;"> -p </td> 
 <td style="width:407px;"> 指定运行并行度，即 slot 数量，可覆盖文件中的配置 </td> 
 </tr> 
 <tr> 
 <td style="width:92px;"> -c </td> 
 <td style="width:407px;"> 指定入口类 </td> 
 </tr> 
 </tbody> 
</table>