第六章 sink数据存储

红太狼 2024-04-03 14:03 74阅读 0赞

## 第六章 sink数据存储 ##

Data sinks 使用 DataStream 并将它们转发到文件、套接字、外部系统或打印它们。Flink 自带了多种内置的输出格式，这些格式相关的实现封装在 DataStreams 的算子里：

### writeAsText() ###

TextOutputFormat - 将元素按行写成字符串。通过调用每个元素的 toString() 方法获得字符串。

### writeAsCsv(…) ###

CsvOutputFormat - 将元组写成逗号分隔值文件。行和字段的分隔符是可配置的。每个字段的值来自对象的 toString() 方法。

### print() ###

printToErr() - 在标准输出/标准错误流上打印每个元素的 toString() 值。 可选地，可以提供一个前缀（msg）附加到输出。这有助于区分不同的 print 调用。如果并行度大于1，输出结果将附带输出任务标识符的前缀。

### writeUsingOutputFormat() ###

FileOutputFormat - 自定义文件输出的方法和基类。支持自定义 object 到 byte 的转换。

### writeToSocket ###

根据 SerializationSchema 将元素写入套接字。

### addSink ###

调用自定义 sink function。Flink 捆绑了连接到其他系统（例如 Apache Kafka）的连接器，这些连接器被实现为 sink functions。  
注意，DataStream 的 write\*() 方法主要用于调试目的。它们不参与 Flink 的 checkpointing，这意味着这些函数通常具有至少有一次语义。刷新到目标系统的数据取决于 OutputFormat 的实现。这意味着并非所有发送到 OutputFormat 的元素都会立即显示在目标系统中。此外，在失败的情况下，这些记录可能会丢失。

为了将流可靠地、精准一次地传输到文件系统中，请使用 StreamingFileSink。此外，通过 .addSink(…) 方法调用的自定义实现也可以参与 Flink 的 checkpointing，以实现精准一次的语义。

### 项目实践 ###

[参考vip资料分享网][vip]

[vip]: https://www.681vip.com/flinkChapter06.html

发表评论取消回复

表情：

评论列表（有 0 条评论，74人围观）

还没有评论，来说两句吧...

相关阅读

相关 MySQL 高级 - 第六章 | 存储引擎

MySQL从 3.23 开始就包含InnoDB存储引擎，5.5之后就默认采用InnoDB引擎InnoDB是MySQL的默认事务型引擎，它被设计用来处理大量的短期（）事务，...

墨蓝/ 2024年05月06日 23:21/ 0 赞/ 76 阅读

相关第六章——数据存储

![5a5cd4f883f11b78129bad7fa840c99c.png][] ![9836d3cdcb92af34a6c61e83d39cc638.png][] [

小灰灰/ 2024年04月06日 12:38/ 0 赞/ 76 阅读

相关第六章 sink数据存储

第六章 sink数据存储 Data sinks 使用 DataStream 并将它们转发到文件、套接字、外部系统或打印它们。Flink 自带了多种内置的输出格式，这些格式

红太狼/ 2024年04月03日 14:03/ 0 赞/ 75 阅读

相关第一行代码第六章数据存储

第六章数据存储 6.1 持久化技术简介保存在内存中的数据是瞬时状态的，保存在存储设备中的数据是处于持久状态的。Android系统主要提供了3种方式用于简单地实现

约定不等于承诺〃/ 2023年10月09日 22:06/ 0 赞/ 19 阅读

相关数据结构第六章图

6.1 图的逻辑结构图是由顶点的有穷非空集合和顶点之间边的集合组成，通常表示为： G=(V，E) 其中：G表示一个图，V是图G中顶点的集合，E是图G中顶点之间边的集

淡淡的烟草味﹌/ 2023年10月08日 10:03/ 0 赞/ 45 阅读

相关数据结构：第六章图

数据结构：第六章图 6.1图的概述完全图 n个顶点的无向图中边数达到n（n-1）/2成为无向完全图 n个顶点的有向图中遍数达到n（n-1）有向图的完全图

谁践踏了优雅/ 2023年01月02日 04:29/ 0 赞/ 218 阅读

相关数据结构 | 第六章树

文章目录一、树 1、树的基本概念 1.1 树的定义

古城微笑少年丶/ 2022年10月18日 10:00/ 0 赞/ 223 阅读

相关【数据存储】【Redis】第六章：Redis缓存Hash类型的使用

package com.sky.testmodule.controller; import com.sky.testmodule.constant.T

落日映苍穹つ/ 2022年09月11日 12:29/ 0 赞/ 171 阅读

相关第六章

1.目录管理的主要功能：按名存取；提高检索速度；文件共享；允许文件重名。 2.在索引节点中设置连接引用（links）计数的目的是为了实现目录管理的文件共享功能。 3.实现“

以你之姓@/ 2022年06月17日 03:46/ 0 赞/ 345 阅读

相关《第一行代码》第六章数据存储全方案

6.1 简介保存在内存中的数据是处于瞬时状态的，而保存在存储设备中的数据才是处于持久状态的。 android系统中主要提供了3种方式用于简单地实现数据持久化功能：

短命女/ 2021年09月26日 14:10/ 0 赞/ 420 阅读