Flink初入门-状态

布满荆棘的人生 2021-12-23 00:09 283阅读 0赞

**目录**

状态运行：

被Keys化状态和算子状态：

算子状态;

原始和托管状态：

Keys化使用托管状态：

--------------------

## 状态运行： ##

本文档介绍了在开发应用程序时如何使用Flink的状态抽象。

### 被Keys化状态和算子状态： ###

Flink有两种基本的状态：Keyed State和Operator State。

被Keys化状态：  
被Keys化状态始终与键相关，只能在a上的函数和算子中使用KeyedStream，

您可以将Keyed State视为已分区或者分片的算子状态，每个Keys只有一个状态分区。每个被Keys化状态在逻辑上绑定到<parallel-operator-instance，key>的唯一复合，并且由于每个键“属于”一个被Keys化的算子的一个并行示例，我们可以将其简单的视为<operator,key>。

被Keys化状态进一步组织成所谓的Keys组。Keys组是Flink可以重新分配Keys状态的原子单元；Keys组与定义的最大并行度完全一样多.在执行期间，被Keys化 算子的每个并行实例都使用一个或多个Keys组的Keys。

### 算子状态;    ###

使用算子状态（或非被Keys化状态），每个算子状态都绑定到一个并行算子实例。在Kafka连接器是在Flink使用运营状况的一个很好的激励的例子。Kafka使用者的每个实例都将主题分区和偏移的映射维护为其算子状态。

算子状态接口支持在并行性更改时在并行算子实例之间重新分配状态。可以有不通过的方案来进行此重新分配。

### 原始和托管状态：    ###

被Keys化状态和算子状态有两种形式：托管状态和原始状态。

托管状态由Flink运行时控制的数据结构表示，例如内部哈希表或RocksDB。例如“VlaueState”，“ListState”等。Flink的运行时对状态进行编码并将它们写入检查点。

原始状态时算子保存自己的数据结构中的状态，检查点时，它们只会讲一个字节序列写入检查点。Flink对状态的数据结构一无所知，只看到原始字节。

所有数据流函数都可以使用托管状态，当原始状态接口只能则在实现算子时使用。建议使用托管状态（而不是原始状态），因为在托管状态下，Flink能够在并行性更改时自动重新分配状态，并且还可以进行更好的内存管理。

注意：如果您的托管状态需要自定义序列化逻辑请参与相应的指南以确保间来的兼容性。Flink的默认序列化器不需要特殊处理。

### Keys化使用托管状态：    ###

托管被Keys化状态接口提供对不同类型状态的访问，这些状态都限定为当前输入数据元的键。这意味着这种类型的状态只能用于a KeyedStream，可以通过创建stream.KeyBy(...)。

现在，我们讲首先查看可用的不同类型的状态，然后我们将看到他们如何则在程序中使用。可用的状态原语是：

VlaueState

未完，待续。。。

发表评论取消回复

表情：

评论列表（有 0 条评论，283人围观）

还没有评论，来说两句吧...

相关阅读

相关【flink】 flink入门教程demo 初识flink

文章目录通俗解释什么是flink及其应用场景 flink处理流程及核心API flink代码快速入门 flink重要概念 > 什么是flink

阳光穿透心脏的1/2处/ 2024年03月26日 16:40/ 0 赞/ 97 阅读

相关 Flink (一) --------- 初识 Flink

目录一、Flink 的源起和设计理念二、Flink 的应用 1. Flink 在企业中的应用 2. Flink 主要的应用场景

ゝ一纸荒年。/ 2024年03月24日 12:10/ 0 赞/ 63 阅读

相关 Flink-状态管理-状态一致性

状态一致性 ![在这里插入图片描述][81e1a46f6a3740a69ce41b0ae2cf2bc4.png] 有状态的流处理,内部每个算子任务都可以有自己的状态（即

蔚落/ 2022年09月09日 12:48/ 0 赞/ 323 阅读

相关 Flink初入门-应用场景

一、Flink简介 Apache Flink® - Stateful Computations over Data Streams 上面是官网的介绍，翻译过来是流数据上的有

╰+攻爆jí腚メ/ 2021年12月24日 01:25/ 0 赞/ 283 阅读

相关 Flink初入门-状态

目录状态运行：被Keys化状态和算子状态：算子状态; 原始和托管状态： Keys化使用托管状态： -------------------- 状态运行：

布满荆棘的人生/ 2021年12月23日 00:09/ 0 赞/ 284 阅读

相关 Flink初入门-容错处理

目录检查点：启用和配置检查点：相关的配置选项：选择状态后台：迭代作业中的状态检查点：重启策略： -------------------- 检查点：

向右看齐/ 2021年12月22日 18:53/ 0 赞/ 227 阅读

相关 Flink初入门-API使用

目录 Flink支持的数据类型支持的数据源：在StreamExecutionEnvironment中有以下几个预定义的源：基于文件的：基于socket的：

缺乏、安全感/ 2021年12月21日 08:33/ 0 赞/ 300 阅读

相关 Flink初入门-运行时环境

Flink1.7官网文档翻译 -原创-[flink.sojb.cn][] 目录任务和算子链 TaskManager，JobManager，客户端任务槽和资源

川长思鸟来/ 2021年12月21日 05:53/ 0 赞/ 260 阅读

相关 Flink初入门-API使用(补)

目录数据存储/接收器迭代：执行参数：容错：控制延迟： -------------------- 数据存储/接收器数据接收器使用DataStrea

偏执的太偏执、/ 2021年12月20日 06:11/ 0 赞/ 240 阅读

相关 Flink初识

Flink是什么？ Flink是一个以Java及Scala作为开发语言的开源大数据项目，代码开源在github上，并使用 maven来编译和构建项目。其核心是用[Java][

客官°小女子只卖身不卖艺/ 2021年11月01日 17:00/ 0 赞/ 273 阅读