Flink并行度和Slot详解

旧城等待， 2024-04-28 13:06 74阅读 0赞

## Flink并行度和Slot详解 ##

地址:

https://blog.csdn.net/zuodaoyong/article/details/106178488?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1.pc_relevant_default&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1.pc_relevant_default&utm_relevant_index=2

#### 一、概念 ####

1、Task：一个阶段多个功能相同的subTask的集合，类似Spark的TaskSet

2、SubTask：是任务最小的执行单元，是一个Java类的实例，完成具体的计算逻辑

3、Slot：计算资源的隔离单元，一个Slot可以运行多个SubTask，但是这些SubTask必须是来自同一个application的不同阶段的subTask。

注意：Flink划分Task主要有四种情况：

（1）类似keyBy，broadcast，rebalance等算子产生shuffer

（2）Parallelism（并行度）变化

（3）new chain，即在算子上执行startNewChain()后，该算子与前面执行的算子分开。

（4）disableChaining，在算子上执行disableChaining()，即算子的开始到结束，单独生成一个task。使用场景，比如该算子逻辑复杂，让算子独自使用一个task内的SubTask。

#### 二、slot ####

Flink中每一个TaskManager都是一个JVM进程，它可能会在slot上执行一个或多个subTask。

slot数量通常与每个TaskManager节点的可用CPU内核数成比例。一般Slot数量是每个节点的CPU内核数。

Slot的数量由集群中flink-conf.yml配置文件中taskmanager.numberOfTaskSlots设置的。

注意：同一个slot不能执行同一个task的多个subTask。

扩展：slotSharingGroup(String slotSharingGroup)即共享slot

假设flink集群有3个节点，一个jobManager，2个TaskManager。每个TaskManager有2个Slot。即该集群是一共4个slot

任务分配的slot默认名称是default。

![img][]

拿wordcount为例，运行该application，5个task，14个subTask都运行在共享slot名为"default"上。

如果flatMap上调用slotSharingGroup(“slot\_name”)，则flatMap放在名称叫slot\_name的slot上。

后面算子map，keyBy，print都会分配slot名称为slot\_name上运行。

那么，异常情况出现了 ，集群中的4个slot，有一个default的slot中运行的是source，flatMap的并行度为4，需要分配到4个叫slot\_name的slot上。但是slot\_name只有3个。导致资源不够，任务部署失败。

解决方法可以调整并行度为3，或者取消slotSharingGroup的设置。

总结：

（1）Flink的任务资源槽默认名称是default

（2）通过算子调用slotSharingGroup设置算子运行的槽位

（3）如果改变了共享槽位的名称，后面的算子没有设置共享槽位的名称，那么就和上一次改变的槽位名称一致

（4）槽位名称不同的subTask不能在同一个槽位中执行

#### 三、并行度 ####

1、并行度的设定

（1）Operator Level（算子层面）

（2）Execution Environment Level（执行环境层面）

（3）Client Level（客户端层面）

（4）System Level（系统层面，即配置文件中配置）

并行度设定优先级：Operator Level > Execution Environment Level > Client Level > System Level

[img]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/28/b84a60b976da4c82b59eb2b0b83d993d.png

发表评论取消回复

表情：

评论列表（有 0 条评论，74人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flink并行度和Slot详解

Flink Slot

旧城等待，/ 2024年04月28日 13:06/ 0 赞/ 75 阅读

相关 Flink TaskManager 与 slots 与 core 与并行度的关系

，我先简单的说说自己的理解，Flink可能跟spark不太一样 1）TaskManager 与 slots 比如我们有2个 TaskManager 每个T...

约定不等于承诺〃/ 2024年04月18日 08:48/ 0 赞/ 59 阅读

相关 Flink自定义source（单并行度和多并行度）

文章目录 1.Source简介 2. Flink预定义的Source 3. 自定义单并行度Source 4. 自定义

￡神魔★判官ぃ/ 2024年04月06日 12:20/ 0 赞/ 68 阅读

相关 Flink：并行度使用的注意事项

并行度的优先级：算子级别 > env级别 > Client级别 > 系统默认级别 (越靠前具体的代码并行度的优先级越高) 如果source不可以被并行执行，即使指定

小灰灰/ 2024年03月23日 12:57/ 0 赞/ 60 阅读

相关 Flink：并行度介绍和设置并行度

并行度一个Flink程序由多个Operator组成(source、transformation和 sink)。一个Operator由多个并行的Task(线程)来执行

秒速五厘米/ 2024年03月23日 12:56/ 0 赞/ 81 阅读

相关 Flink 1.17教程：任务槽Task Slots和并行度的关系

任务槽Task Slots 在 Apache Flink 中，任务槽（Task Slots）是指可用于执行并行任务的资源单元。每个任务槽可以看作是一个可用的执行线程或处理

爱被打了一巴掌/ 2023年10月15日 14:39/ 0 赞/ 45 阅读

相关 Flink教程：并行度

> Flink的并行度介绍一下？ ![img][] 概述 Flink的并行度（Parallelism）是指在Flink作业中并行执行任务的程度。它决定了作业中任务的数

小灰灰/ 2023年10月15日 13:21/ 0 赞/ 15 阅读

相关 1.17.Flink 并行度详解(Parallel)、TaskManager与Slot、Operator Level、Execution Environment Level、Client Level等

1.17.Flink 并行度详解(Parallel) 1.17.1.TaskManager与Slot 1.17.2.TaskManager与Slot 1.17.3.

た入场券/ 2022年11月18日 01:42/ 0 赞/ 168 阅读

相关 flink 并行度和kafka分区的关系

1、目前flink的并行度如果大于kafka的分区，checkpoint可以正常执行成功，但是会存在某个并行度空转的情况。可以正常checkpoint ![watermark

迷南。/ 2022年10月17日 05:26/ 0 赞/ 208 阅读

相关 Flink（八）Flink的Parallelism并行度

一、Flink的Parallel Execution ![1620][] 实例 1.Operator Level final StreamEx

淩亂°似流年/ 2022年02月19日 08:15/ 0 赞/ 574 阅读