大数据实时阶段02：Spark环境搭建-Local

川长思鸟来 2024-02-23 08:30 62阅读 0赞

### 2.1 基本原理 ###

Local模式就是常用于本地开发测试，本地还分为local单线程和local-cluster多线程;

本质：启动一个JVM Process进程(一个进程里面有多个线程)，执行任务Task

![图片][b3b393027108e39ab0b42fdd672af97e.jpeg]

◆该模式被称为Local\[N\]模式，是用单机的多个线程来模拟Spark分布式计算，直接运行在本地，便于调试，通常用来验证开发出来的应用程序逻辑上有没有问题。

◆通常Cpu有几个Core，就指定几个线程，最大化利用计算能力.

◆其中N代表可以使用N个线程，每个线程拥有一个cpu core。如果不指定N，则默认是1个线程（该线程有1个core）。

◆如果是local\[\*\]，则代表 Run Spark locally with as many worker threads as logical cores on your machine.按照Cpu最多的Cores设置线程数

####  ####

2.2 搭建

搭建操作, 可参考资料提供的部署文档<< spark部署文档.doc >> 中关于Local模式搭建操作

●开箱即用：直接启动bin目录下的spark-shell:

/export/server/spark/bin/spark-shell

●运行成功以后，有如下提示信息：

*  sc：SparkContext实例对象
 *  spark：SparkSession实例对象
 *  4040：Web监控页面端口号

####  ####

2.3 测试

●Spark-shell说明：

1.直接使用./spark-shell

表示使用local 模式启动，在本机启动一个SparkSubmit进程

2.还可指定参数 --master，如：

spark-shell --master local\[N\] 表示在本地模拟N个线程来运行当前任务

spark-shell --master local\[\*\] 表示使用当前机器上所有可用的资源

3.不携带参数默认就是

spark-shell --master local\[\*\]

4.后续还可以使用--master指定集群地址，表示把任务提交到集群上运行，如

./spark-shell --master spark://node01:7077,node02:7077

5.退出spark-shell

使用 :quit

####  ####

为什么学习PySpark？

Python 现在是 Spark 上使用最广泛的语言。PySpark 在 PyPI（Python 包索引）上的每月下载量超过 500 万次。此版本改进了其功能和可用性，包括重新设计带有 Python 类型提示的 Pandas UDF API、新的 Pandas UDF 类型和更多 Pythonic 错误处理。

参考链接：https://spark.apache.org/releases/spark-release-3-0-0.html

执行pyspark也就是使用python语言操作Spark集群，在安装完Spark基础环境之后，我们还需要安装python环境，而今支持python环境最佳的环境就是Anaconda，避免再去安装的单独的python发行版，因此Anaconda也称之为数据学科必备python环境。

接下来首先学习PySpark安装以及Anaconda安装及基本使用

[b3b393027108e39ab0b42fdd672af97e.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/23/bfedb561daa64336ab701b9d08e4e35b.png

发表评论取消回复

表情：

评论列表（有 0 条评论，62人围观）

还没有评论，来说两句吧...

相关阅读

相关 02. Mybatis 环境搭建

ybatis 是一个持久层的半自动化ORM框架, 所以Mybatis的基础环境搭建一个JavaSE 环境即可. 而已笔者认为, 搭建一个JavaSE 环境, 更利于深入学...

曾经终败给现在/ 2024年04月17日 14:56/ 0 赞/ 81 阅读

相关大数据实时阶段02：Spark环境搭建-Local

2.1 基本原理 Local模式就是常用于本地开发测试，本地还分为local单线程和local-cluster多线程; 本质：启动一个JVM Process进程(一个进

川长思鸟来/ 2024年02月23日 08:30/ 0 赞/ 63 阅读

相关大数据实时阶段01：PySpark基础环境

1.1 Spark是什么定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unified）分析引擎。 ![图片][f5

朱雀/ 2023年10月16日 17:44/ 0 赞/ 14 阅读

相关 spark环境搭建

前言 1.安装环境依赖运行所需 Java、 scala 环境。 1.1 安装scala 先创建需要下载scala的目录 mkdir scala 下载s

偏执的太偏执、/ 2023年10月06日 19:47/ 0 赞/ 28 阅读

相关大数据项目实战(5) | 使用 Spark Streaming搭建实时处理模块

![在这里插入图片描述][20200920214640505.png_pic_center] 什么叫日活: 1. 通常: 打开应用的用户即为活跃用户，不考虑用户的使用情

你的名字/ 2022年12月08日 15:48/ 0 赞/ 219 阅读

相关大数据hadoop与spark研究——1 spark环境搭建

第一章介绍一、 spark组件 Spark是一个用于集群计算的通用计算框架 Spark可将如何Hadoop分布式文件系统（HDFS）上的文件读取为分

淡淡的烟草味﹌/ 2022年10月09日 04:58/ 0 赞/ 186 阅读

相关大数据学习系列之六 ----- Hadoop+Spark环境搭建

引言在上一篇中 [大数据学习系列之五 —– Hive整合HBase图文详解][_ Hive_HBase] ： [http://www.panchengming.com/

素颜马尾好姑娘i/ 2022年06月03日 05:26/ 0 赞/ 227 阅读

相关 Spark 环境搭建

搭建环境：Ubuntu16.04(虚拟机) 分布式集群： 192.168.159.128 vm01 192.168.159.129 vm02 192.168.1

青旅半醒/ 2022年05月29日 08:18/ 0 赞/ 264 阅读

相关 Spark、Hadoop大数据平台搭建

下载安装包 Spark 分布式计算 [spark-2.3.2-bin-hadoop2.7][]，安装包大小：220M 支持Hadoop 2.7以后的版本 Scal

深碍√TFBOYSˉ_/ 2022年04月10日 03:17/ 0 赞/ 290 阅读

相关 02. SDR 环境搭建

Spring Data Redis(简称SDR) 是spring 操作redis 的一个框架, 可以使用jedis 驱动或Lettuce 驱动, SDR 2.x 系列默认使用L

朱雀/ 2022年01月31日 17:45/ 0 赞/ 295 阅读