1.17.Flink 并行度详解(Parallel)、TaskManager与Slot、Operator Level、Execution Environment Level、Client Level等

た入场券 2022-11-18 01:42 168阅读 0赞

1.17.Flink 并行度详解(Parallel)  
1.17.1.TaskManager与Slot  
1.17.2.TaskManager与Slot  
1.17.3.并行度(Parallel)  
1.17.4.并行度（Parallel）的设置  
1.17.4.1.并行度设置之Operator Level  
1.17.4.2.并行度设置之Execution Environment Level  
1.17.4.3.并行度设置之Client Level  
1.17.4.4.并行度设置之System Level

## 1.17.Flink 并行度详解(Parallel ) ##

### 1.17.1.TaskManager与Slot ###

Flink的每个TaskManager为集群提供solt。 solt的数量通常与每个TaskManager节点的可用CPU内核数成比例。一般情况下你的slot数是你每个节点的cpu的核数。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70]

### 1.17.2.TaskManager与Slot ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70 1]

### 1.17.3.并行度(Parallel) ###

一个Flink程序由多个任务组成(source、transformation和 sink)。 一个任务由多个并行的实例(线程)来执行， 一个任务的并行实例(线程)数目就被称为该任务的并行度。

### 1.17.4.并行度（Parallel）的设置 ###

一个任务的并行度设置可以从多个层次指定  
Operator Level（算子层次）  
Execution Environment Level（执行环境层次）  
Client Level（客户端层次）  
System Level（系统层次）

#### 1.17.4.1.并行度设置之Operator Level ####

一个算子、数据源和sink的并行度可以通过调用 setParallelism()方法来指定  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70 2]

#### 1.17.4.2.并行度设置之Execution Environment Level ####

执行环境(任务)的默认并行度可以通过调用setParallelism()方法指定。为了以并行度3来执行所有的算子、数据源和data sink， 可以通过如下的方式设置执行环境的并行度：

*  执行环境的并行度可以通过显式设置算子的并行度而被重写。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70 3]

#### 1.17.4.3.并行度设置之Client Level ####

并行度可以在客户端将job提交到Flink时设定。  
对于CLI客户端，可以通过-p参数指定并行度  
./bin/flink run -p 10 WordCount-java.jar (这里使用-p 10)

#### 1.17.4.4.并行度设置之System Level ####

在系统级可以通过设置flink-conf.yaml文件中的parallelism.default属性来指定所有执行环境的默认并行度。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70 5]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70]: /images/20221022/aa0e586473f64c6e8ed8ac2a42275619.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70 1]: /images/20221022/651cac52e4594658b5375af0c7473fe4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70 2]: /images/20221022/9900f19a8dad477693078267d5b2c027.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70 3]: /images/20221022/6f4674a15b6549469eb59503fe00c7bd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70 4]: /images/20221022/2f9e2634c75b40ed973c1649942c2c21.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RvdG8xMjk3NDg4NTA0_size_16_color_FFFFFF_t_70 5]: /images/20221022/106fe02aa9d14e92a7fbdc8d9cfeab5b.png