Spark RDD(分布式弹性数据集)

￡神魔★判官ぃ 2022-08-31 09:55 166阅读 0赞

分布式弹性数据集(RDD)是一个不可变型分布式对象集合，这些元素分布在集群中的多个节点上。RDD是Spark中使用的基本对象。他们是不可变型集合，用于表示数据，并且内置了可靠性以及故障恢复能力。

Spark RDD是弹性的，并具备容错能力，它使得Spark能在出现故障时恢复RDD。不可变性使得RDD一旦被创建就是只读的。可对RDD进行转换从而创建新的RDD，但原始RDD在原始RDD在创建后永远都不会被修改的。这使得RDD能不受争用和其他同步问题的影响。

RDD的分布式天性则是由于RDD只包含数据的一个引用，而实际数据则以分区形式存储在集群中的节点上。

RDD实质上是一个数据集，被分区到哦集群中的多个节点上，这些分区可来自HDFS、HBase表、Cassandra表或Amazon S3。

从内部讲，每个RDD具备如下五个主要特征：

*  是一个分区的列表；
 *  是一个对每个分片都进行计算的函数；
 *  基于其他RDD的一个依赖列表；
 *  有时，是一个健指型RDD的分区器（例如，可以说RDD是hash分区的）
 *  有时，是一个计算每个分片的优先位置列表（例如，一个HDFS文件的块地址）

driver在RDD对象视为分布式数据的句柄。这类似于使用了一个指向数据的指针，而不是直接使用真实数据；只有在需要时，才访问真实数据。

默认情况下，RDD使用hash分区器在集群内对数据进行分区。其分区个数与集群中的节点个数无关。因此经常发生集群中的一个节点上分布了多个分区的数据这样的情况。现有数据的分区个数取决于集群中的节点数量和数据量。worker节点上的任务处理的数据主要来自本地节点，或部分来自远程节点。这称为数据的本地化，执行任务时会尽可能选择本地数据。

*数据本地化会严重影响任务的性能。数据本地化的默认选择顺序为：进程本地化>节点本地化>无首选位置>机架本地化>跨机架*

并不能保证一个节点可获取多个分区，这会影响executor的处理效率，因为如果一个节点上有太多分区，那么处理这些分区的时间就会变长，会让executor上的Spark core过载，从而减缓该阶段的处理速度，进而影响整个作业的执行效率。所以数据的分区问题，是提升Spark作业性能的关键。

## 创建RDD ##

无论RDD是如何创建的，初始的RDD都被称为基础RDD，使用各种操作创建的后续RDD都是该RDD的血统。这是RDD实现容错能力和恢复能力的秘诀。

RDD可基于任意的transformation或action算子来产生新的RDD。RDD也会存储其血统机制，从而用于从故障中进行恢复。  
RDD创建方式：

*  并行处理集合
 *  从现有数据源中读取数据
 *  对现有RDD进行转换
 *  streamingAPI

### 并行处理集合 ###

并行处理集合可通过在集合上调用parallelize()来实现，这是在driver程序内部完成的。当driver尝试并行处理集合时，会讲集合拆分为分区，并将数据分区分布到集群中。

### 从现有数据源中读取数据 ###

从现有的分布式数据（如Amazon S3、Cassandra和HDFS等）读取数据。

### 从现有RDD进行转换 ###

RDD天然是不可变型。因此可以对RDD应用transformation算子来创建新的RDD。filter就是一种典型的transformation算子。

### Streaming API ###

通过Streaming API创建的RDD被称为离散化流式RDD。

发表评论取消回复

表情：

评论列表（有 0 条评论，166人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark RDD弹性分布式数据集

> 目录 > > RDD简介 > > 一、RDD的定义 > > 二、RDD的5大特征 > > RDD的创建方式 > > 一、从文件系统加载数据创建RDD >

素颜马尾好姑娘i/ 2024年04月08日 08:25/ 0 赞/ 67 阅读

相关 Spark弹性式数据集RDDs

-------------------- title: Spark弹性式数据集RDDs date: 2021-05-08 16:24:20 tags: Spa

落日映苍穹つ/ 2023年10月04日 12:49/ 0 赞/ 14 阅读

相关 Spark之RDD(弹性分布式数据集) 详解

1.RDD简述 RDD简单的解释： RDD是将数据项拆分为多个分区的集合,存储在集群的工作节点上的内存和磁盘中，并执行正确的操作。复杂的解释： RDD是用于

￡神魔★判官ぃ/ 2023年03月05日 12:56/ 0 赞/ 6 阅读

相关 Spark RDD弹性分布数据集详解

RDD简介 RDD是Spark提供的最重要的抽象概念，我们可以将RDD理解为一个分布式存储在集群中的大型数据集合，不同RDD之间可以通过转换操作形成依赖关系实现管道化，从而避

- 日理万妓/ 2023年02月12日 09:23/ 0 赞/ 8 阅读

相关 Spark2.X弹性分布式数据集

目录一、三大弹性分布式数据集介绍二、Spark RDD概述与创建方式（1）连接Spark （2）

向右看齐/ 2022年12月08日 15:31/ 0 赞/ 172 阅读

相关 Spark：RDD弹性分布式数据集——实践

RDD弹性分布式数据集——实践一、预先准备二、RDD创建 2.1 从本地文件系统中加载数据创建RDD

我就是我/ 2022年11月17日 13:53/ 0 赞/ 338 阅读

相关 Spark RDD弹性分布式数据集——理论

Spark RDD 理论 1.1 RDD简介 1.2 RDD五大特征 1.3 RDD的处理过程 1.4 RDD的分区

傷城~/ 2022年11月17日 10:15/ 0 赞/ 250 阅读

相关 Spark RDD(分布式弹性数据集)

分布式弹性数据集(RDD)是一个不可变型分布式对象集合，这些元素分布在集群中的多个节点上。RDD是Spark中使用的基本对象。他们是不可变型集合，用于表示数据，并且内置了可靠性

￡神魔★判官ぃ/ 2022年08月31日 09:55/ 0 赞/ 167 阅读

相关 Spark核心类：弹性分布式数据集RDD及其转换和操作pyspark.RDD

http://[blog.csdn.net/pipisorry/article/details/53257188][blog.csdn.net_pipisorry_articl

Myth丶恋晨/ 2022年07月14日 00:17/ 0 赞/ 180 阅读

相关【PySpark学习笔记一】弹性分布式数据集RDD

更新时间：2018-10-16 RDD的内部运行方式 Spark优势：每个转换操作并行执行，大大提高速度。数据集的转换通常是惰性的，即在transformat

不念不忘少年蓝@/ 2022年05月09日 15:22/ 0 赞/ 215 阅读