10.1 spark core — spark内核

小鱼儿 2022-05-19 00:24 216阅读 0赞

spark是开源的分布式计算框架(源码是scala编写的) [http://spark.apache.org/][http_spark.apache.org]

计算速度加快

编写加快

hadoop：在hdfs读取-->计算结果存到hdfs-->二次计算依然在hdfs上读取-->输出

spark:在hdfs上读取-->计算结果存在内存中-->二次计算在内存中读取-->输出结果可以保存到hdfs上

spark有四种运行模式：

local：多用在本地eclipse上进行测试，所有的[Spark][]进程均运行于同一个JVM中，并行处理则通过多线程来实现

standalone：集群单机模式，Spark集群由两类程序构成：一个驱动程序和多个执行程序。本地模式时所有的处理都运行在同一个JVM内，在集群模式时通常运行在多个不同的节点上。

集群单机模式通常包括：

１．一个运行Spark单机主进程和启动程序的主节点；

２．各自运行一个执行程序的进程的工作节点。

yarn：资源和任务管理框架

mesos：Ｍesos是一个开源集群计算框架

spark内核RDD:

弹性分布式数据集

spark中的RDDs让用户可以直接控制数据的共享。RDD具有可容错和并行数据结构特征，可以指定数据存储到硬盘还是内存、控制数据的分区方法并在数据集上进行种类丰富的操作

![70][]

RDD是一个弹性的分布式数据集

1，RDD是由一系列的partition组成

2，每一个算子实际上作用在每个partition上

3，RDD有一系列的依赖关系

4，分区器是作用在key,value格式的RDD上

分区器是在shuffle阶段起作用

GroupByKey,reduceByKey,join,sortByKey等这些算子会产生shuffle-->这些算子必须作用在KV格式RDD上

5，每一个RDD都会提供一批最佳计算位置

sc.textFile("path")

读取HDFS上的文件，但是spark没有提供读取HDFS文件的方法，所有底层还是使用MapReduce读取HDFS方法

spark在读取文件时，实际上先将文件进行划分切片splits,splits默认和block块一样大小

一个block对应一个partition

--------------------

![70 1][]

Driver:分发task到Worker节点执行 ，Driver是一个JVM进程进程，这个进程有SparkContext对象

Driver分发策略：数据本地化

Driver会有大量的网络通信： --Driver会跟集群进行频繁的通信

1，分发task

2，收集task计算结果

3，收集task执行结果

4，心跳信息 --worker想Master发送心跳只发送workerId

map算子特点：输入一条数据，输出一条数据，关系是一对一

flatMap：输入一条数据，输出多条数据

[http_spark.apache.org]: http://spark.apache.org/
[Spark]: http://lib.csdn.net/base/spark
[70]: /images/20220519/2f7f0266ec9b48729fb52b1f91449c02.png
[70 1]: /images/20220519/235ae5d072184592bd68bcc91d491741.png

发表评论取消回复

表情：

评论列表（有 0 条评论，216人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark 内核 (六) --------- Spark 内存管理

目录一、堆内和堆外内存规划二、内存空间分配三、存储内存管理四、执行内存管理 -------------------- 一、堆内和堆外

迷南。/ 2024年04月07日 13:20/ 0 赞/ 89 阅读

相关 Spark 内核 (三) --------- Spark 通讯架构

目录一、Spark 通信架构概述二、Spark 通讯架构解析 -------------------- 一、Spark 通信架构概述 Spark

痛定思痛。/ 2024年04月07日 13:18/ 0 赞/ 60 阅读

相关 Spark 内核 (二) --------- Spark 部署模式

目录一、YARN 模式运行机制 1. YARN Cluster 模式 2. YARN Client 模式二、Standalone

「爱情、让人受尽委屈。」/ 2024年04月07日 13:17/ 0 赞/ 85 阅读

相关 Spark 内核 (一) --------- Spark 内核概述

目录一、Spark 核心组件回顾 1. Driver 2. Executor 二、Spark 通用运行流程概述 --------

逃离我推掉我的手/ 2024年04月07日 13:17/ 0 赞/ 81 阅读

相关 Spark-Core

-------------------- [Spark简介][Spark] [Spark-Core核心算子][Spark-Core] [Spark-Core][Spa

雨点打透心脏的1/2处/ 2024年02月21日 11:50/ 0 赞/ 73 阅读

相关面试篇spark（spark core，spark sql，spark 优化）

一：为什么学习spark？相比较map-reduce框架，spark的框架执行效率更加高效。 mapreduce的执行框架示意图。 ![在这里插入图片描述][6

ゞ浴缸里的玫瑰/ 2024年02月17日 11:44/ 0 赞/ 77 阅读

相关 Spark Core RDD

1. 什么是 RDD 源码：`https://github.com/apache/spark` `A Resilient Distributed Dataset (RD

ゞ浴缸里的玫瑰/ 2023年09月29日 18:40/ 0 赞/ 3 阅读

相关 Spark Core Aggregator

Spark Core Aggregator 本文要介绍的是Spark Core中的Aggregator这个类。这个类的用处非常大，为什么这么说呢？我们都知道Spark支持

秒速五厘米/ 2022年06月11日 03:46/ 0 赞/ 137 阅读

相关 10.1 spark core — spark内核

spark是开源的分布式计算框架(源码是scala编写的) [http://spark.apache.org/][http_spark.apache.org] 计算速度加快

小鱼儿/ 2022年05月19日 00:24/ 0 赞/ 217 阅读

相关 Spark之Spark内核工作流程

这是一个较为细粒度的Spark运行流程。我们写的Spark程序叫做Application。 Application会通过spark-submit来提交给Spar

曾经终败给现在/ 2022年04月22日 18:08/ 0 赞/ 231 阅读