Flink DataSet 工具类 DataSetUtils 常用API

桃扇骨 2021-11-09 04:40 318阅读 0赞

DataSetUtils类提供了一些生成index和数据采样和分析的方法，包括countElementsPerPartition、zipWithIndex、zipWithUniqueId、sample、sampleWithSize、summarize等。

**首先构造输入数据 **

DataSet<Tuple2<Integer,String>> input = env.fromElements(Tuple2.of(1,"a"),Tuple2.of(2,"b"),Tuple2.of(3,"c"),Tuple2.of(4,"d"),Tuple2.of(5,"e"),Tuple2.of(6,"f"));

**countElementsPerPartition    统计每个分区中元素的个数**

返回Tuple2<partitionID,elementCount>

DataSetUtils.countElementsPerPartition(input).print();

**zipWithIndex    给每个元素生成唯一的、连续的index**

返回Tuple2<Long, T>

先调用countElementsPerPartition计算每个分区中元素的数量，然后为分区中的元素生成index

DataSetUtils.zipWithIndex(input).print();

**zipWithUniqueId    ****给每个元素生成唯一的、不连续的ID**

与zipWithIndex不同，不需要计算每个分区中的元素数量

DataSetUtils.zipWithUniqueId(input).print();

**sample    ****对输入数据进行采样操作**

withReplacement:是否可以重复采样

fraction:每个元素被选中的概率，不能重复采样时fraction \[0,1\],可以重复采样时fraction\[1,∞\]

DataSetUtils.sample(input,false ,0.3 ).print();

可以指定种子的采样操作,seed固定时，生成的样本集不变,上面的无种子采样其实后台调用了随机数种子

DataSetUtils.sample(input,false ,0.3 ,3 ).print();

**sampleWithSize    生成指定大小的样本集  **

numSamples:样本数量

DataSetUtils.sampleWithSize(input,false ,2 ).print();

生成指定大小的样本集，指定种子

DataSetUtils.sampleWithSize(input,false,2 ,3 ).print();

**summarize    统计分析每个列的元素**

返回DataSet<TupleSummaryAggregator<R>>  包括最大最小值，均值，方差，标准差等

System.out.println(DataSetUtils.summarize(input));

发表评论取消回复

表情：

评论列表（有 0 条评论，318人围观）

还没有评论，来说两句吧...

相关阅读

相关 1、Flink批处理（DataSet API）- 基础概览和 DataSet API 编程指南

link 中的 DataSet 程序是在数据集上实现转换的常规程序（例如，filtering, mapping, joining, grouping）。数据集最初是从某些...

逃离我推掉我的手/ 2024年04月19日 14:37/ 0 赞/ 71 阅读

相关 Flink：下沉Sink常用API

依赖  <dependency> <groupId>org.apache.flink</groupId>

朴灿烈づ我的快乐病毒、/ 2024年03月23日 10:35/ 0 赞/ 180 阅读

相关 Flink：算子Transformation常用API

DataStream和DataSet的用法一样 // DataStream StreamExecutionEnvironment env = Stream

阳光穿透心脏的1/2处/ 2024年03月23日 10:34/ 0 赞/ 75 阅读

相关 java常用API-----System(系统工具类)

目录前言必读一、概念讲解翻译位置知识点二、System作用三、代码例子 1.终止java虚拟机的运行 2.获取程序运行的时间 3.系统当前时间

朴灿烈づ我的快乐病毒、/ 2023年09月28日 18:45/ 0 赞/ 25 阅读

相关 Flink Dataset Api（八）容错

checkpoint介绍 checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因(如异常退出)出现故障时，能够将整个应用流图的状

迷南。/ 2023年05月31日 10:23/ 0 赞/ 33 阅读

相关 Flink Dataset Api（四）迭代操作

一、bulkIteration 迭代算法在很多数据分析领域会用到，比如机器学习或者图计算。为了从大数据中抽取有用信息，这个时候往往会需要在处理的过程中用到迭代计算。大数据

野性酷女/ 2023年05月31日 08:00/ 0 赞/ 153 阅读

相关 Flink DataSet API (一) Data Source

一、DataStream 和 DataSet Flink用DataStream 表示无界数据集，用DataSet表示有界数据集，前者用于流处理应用程序，后者用于批处理应用程序

水深无声/ 2023年05月31日 07:22/ 0 赞/ 36 阅读

相关 Flink教程(5)-Flink常用API

【订阅[专栏合集][Link 1],作者所有付费文章都能看】文章目录 FlinkAPI Environment

你的名字/ 2022年12月25日 12:54/ 0 赞/ 187 阅读

相关 Flink DataSet API编程指南

Flink中的DataSet程序是实现数据集转换的常规程序（例如，过滤，映射，连接，分组）。数据集最初是从某些来源创建的（例如，通过读取文件或从本地集合创建）。结果通过接收器返

r囧r小猫/ 2021年11月22日 06:42/ 0 赞/ 369 阅读

相关 Flink DataSet 工具类 DataSetUtils 常用API

DataSetUtils类提供了一些生成index和数据采样和分析的方法，包括countElementsPerPartition、zipWithIndex、zipWithUni

桃扇骨/ 2021年11月09日 04:40/ 0 赞/ 319 阅读