弹性分布式数据集RDD, RDD的属性, 为什么会产生RDD, Spark如何解决迭代计算, Spark如何实现交互式计算 07

灰太狼 2022-01-09 10:47 204阅读 0赞

# 1. 什么是RDD #

RDD(Reilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变,可分区,里面的元素可并行计算的集合.  
RDD具有数据流模型的特点:自动容错,位置感知性调度和可伸缩性.  
RDD允许用户在执行多个查询时显示地将数据缓存在内存中,后续的查询能够重用这些数据,这极大地提升了查询速度.

*  Dataset:一个数据集合,用于存放数据的
 *  Distributed:RDD中的数据是分布式存储的,可用于分布式计算.
 *  Resilient:RDD中的数据可以存放在内存中或者磁盘中.

# 2. RDD的属性 #

![在这里插入图片描述][20190622111920298.png]  
**1. A list of partitons: 一份分区(Partition)列表,数据集的基本组成单位.**

*  对于RDD来说,每个分区都会被一个计算任务处理,并决定并行计算的粒度.用户可以在创建RDD时指定RDD的分区个数,
 *  如果没有指定,那么就会采用默认值(比如:读取hdfs上的数据文件产生的RDD分区数跟block的个数相等)

**2. A function for computing each split: 一个计算每个分区的函数**

*  Spark中RDD的计算是以分区为单位的,每个RDD都会实现compute函数以达到这个目的.

**3. A list of dependencies on other RDDs: 一个RDD会依赖于其他多个RDD,RDD之间有依赖关系.**

*  RDD的每次转换都会生成一个新的RDD,所以RDD之间就 会形成类似于流水线一样的前后依赖关系.
 *  在部分分区数据丢失时,Spark可以通过这个依赖关系重新计算丢失的分区数据,而不是对RDD的所有分区进行重新计算.

**4. Optionally, a Paritioner for key-value RDDs(e.g to say that the RDD is hash-paritioned):一个Paritioner,即RDD的分区函数(可选项)**

*  当前Spark中实现了两种类型的分区函数:一个是基于哈希的HashParitioner,另外一个是基于范围的RangParitioner.
 *  只有对于key-value的RDD,才会有Paritioner;
 *  非key-value的RDD的Paritioner的值是None. Paritioner函数决定了partent RDD Shuffle输出时的分区数量.

**5. Optionally, a list of preferred locations to compute each split on(e.g block locations for an HDFS file):一个列表,存储每个Parition的优先位置(可选项)**

*  对于HDFS文件来说,这个列表保存的就是每个Parition所在块的位置.
 *  按照"移动数据不如移动计算"的理念,Spark在运行任务调度的时候,会尽可能地将计算任务分配到其他要处理数据块的存储位置(Spark进行任务)

# 3. 为什么会产生RDD #

1.  传统的MapReduce虽然具有自动容错,平衡负载和可扩展性的优点,但是期最大的缺点是采用**非循环式的数据流模型**,使得在迭代计算中要进行**大量的磁盘IO操作**.RDD正是解决这一缺点的抽象方法.
2.  RDD是Spark提供的最重要的抽象的概念,它是一种具有容错机制的特殊集合,可以分布在集群的节点上,以函数式编程来操作集合,进行各种**并行操作**.
3.  可以把RDD的结果数据进行缓存,方便进行多次重用,避免重复计算.

# 4. RDD在Spark中的地位及作用 #

1.  为什么会有Spark?  
    因为传统的并行计算模型无法有效的解决迭代计算(**iterative**)和交互式计算(**interactive**);而Spark解决了如上两个并行计算问题.
2.  Spark如何解决迭代计算?  
    其主要实现思想就是RDD,把所有计算的数据保存在分布式内存中.迭代计算通常情况下都是对同一个数据集做反复的迭代计算.数据在内存中将大大提升IO操作.这也是Spark涉及的核心:**内存计算**
3.  Spark如何实现交互式计算?  
    因为Spark是用Scala语言实现的,Spark和Scala能够紧密的集成.所以Spark可以完美的运用Scala的解释器,使得其中的**Scala可以向操作本地集合对象一样轻松操作分布式数据集.**
4.  Spark和RDD的关系?  
    RDD是一种具有容错性,基于内存计算的抽象方法\*\*,RDD是Spark Core的底层核心,Spark则是这个抽象方法的实现.\*\*

[20190622111920298.png]: /images/20220109/80f4a94aa35f49728ee26edec93c4e78.png