Spark的架构原理

相关阅读

相关 Spark的架构

传统的单机系统，虽然可以多核共享内存、磁盘等资源，但是当计算机与存储能力无法满足大规模数据处理的需要时，面对自身CPU和存储无法扩展的先天条件，单机系统就力不从心了。 1.

「爱情、让人受尽委屈。」/ 2024年02月19日 15:27/ 0 赞/ 33 阅读

相关 Spark Streaming架构原理详解！

目录 一、Spark Streaming功能介绍 （1）概述 （2）DStream概述 （3）

- 日理万妓/ 2022年12月10日 14:42/ 0 赞/ 243 阅读

相关 7 Spark开荒_架构原理

文章目录 开荒 1.1 Spark定义 1.2 Spark and Hadoop 1.2.1 时间线

比眉伴天荒/ 2022年12月02日 04:11/ 0 赞/ 198 阅读

相关 Spark：架构及原理

基本术语： > Standalone模式下存在的角色： Client:客户端进程，负责提交作业到Master Master：Standalone模式下的

秒速五厘米/ 2022年06月02日 06:35/ 0 赞/ 315 阅读

相关 Spark 的基本原理和架构

Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目

喜欢ヅ旅行/ 2022年05月31日 14:08/ 0 赞/ 247 阅读

相关 Spark on Yarn架构原理

一. 前言 SPARK相关概念 1. Driver：和ClusterManager通信，进行资源申请、任务分配并监督其运行状况等。 2. ClusterManage

怼烎@/ 2022年04月04日 05:37/ 0 赞/ 296 阅读

相关 Spark详解（十一）：Spark运行架构原理分析

1. Spark 运行架构总体分析 1.1 总体介绍 Spark应用程序的运行架构基本上由三部分组成，包括SparkContext（驱动程序）、ClusterMan

一时失言乱红尘/ 2022年03月17日 13:39/ 0 赞/ 380 阅读

相关 Spark History Server 架构原理介绍

文章目录 一、eventLog日志文件以及相关参数 eventLog日志文件介绍 相关配置参数 二、两

不念不忘少年蓝@/ 2022年03月11日 18:12/ 0 赞/ 450 阅读

相关 Spark Streaming架构原理剖析

文章目录 一、Spark Streaming 原理概述 二、DStream生成RDD实例的过程 1、什么是DStream

末蓝、/ 2022年02月04日 03:49/ 0 赞/ 326 阅读

相关 Spark的架构原理

一、相关名词解释        Driver：Driver是Spark集群的节点之一，我们编写的Spark程序就在Driver上，由Driver进程执行。  

傷城~/ 2021年09月14日 03:56/ 0 赞/ 404 阅读