PySpark简介及详细安装教程

梦里梦外; 2022-12-01 14:27 720阅读 0赞

Spark在前面已经和大家说过很多了，Python这几天也整理出了很多自己的见解，今天就和大家说下一个新的东西，PySpark，一看名字就知道和前面二者都有很大关系，那么PySpark到底是什么，和之前所说的Spark与Python有什么不一样的呢？今天就和大家简单的聊聊。

**回忆下Spark的简介**：  
Spark是一种通用的大数据计算框架,是基于RDD(弹性分布式数据集)的一种计算模型。那到底是什么呢？可能很多人还不是太理解，通俗讲就是可以分布式处理大量集数据的，将大量集数据先拆分，分别进行计算，然后再将计算后的结果进行合并。

## PySpark简介 ##

Spark是用 Scala编程语言 编写的。为了用Spark支持Python，Apache Spark社区发布了一个工具PySpark。使用PySpark，也可以使用Python编程语言中的 RDD 。正是由于一个名为 Py4j的库，他们才能实现这一目标。

简单来说  
在python driver端，SparkContext利用Py4J启动一个JVM并产生一个JavaSparkContext。Py4J只使用在driver端，用于本地python与Java SparkContext objects的通信。大量数据的传输使用的是另一个机制。

RDD在python下的转换会被映射成java环境下PythonRDD。在远端worker机器上，PythonRDD对象启动一些子进程并通过pipes与这些子进程通信，以此send用户代码和数据。

PySpark 是 Spark 为 Python 开发者提供的 API，其依赖于 Py4J。

## PySpark 使用的类 ##

#### pyspark.SparkContext ####

pyspark.SparkContext 类提供了应用与 Spark 交互的主入口点，表示应用与 Spark 集群的连接，基于这个连接，应用可以在该集群上创建 RDD 和 广播变量 (pyspark.Broadcast)

#### pyspark.RDD ####

这个类是为 PySpark 操作 RDD提供了基础方法。  
first() 是 pyspark.RDD 类提供的方法，返回 RDD 的第一个元素。

aggregate() 方法使用给定的组合函数和中性“零值，先聚合每个分区的元素，然后再聚合所有分区的结果。  
cache() 使用默认存储级别（MEMORY\_ONLY）对此 RDD 进行持久化。

collect() 返回一个列表，包含此 RDD 中所有元素。

#### pyspark.Accumulator ####

一种“只允许添加”的共享变量，Spark 任务只能向其添加值。

#### pyspark.Broadcast ####

Spark 提供了两种共享变量：广播变量 和 累加器，pyspark.Broadcast 类提供了对广播变量的操作方法。

#### pyspark.Accumulator ####

pyspark.Accumulator 提供了对累加器变量的操作方法。  
累加器是仅仅被相关操作累加的变量，因此可以在并行中被有效地支持。

## pyspark安装 ##

#### linu系统 Anaconda3安装 ####

(1)python自身缺少numpy、matplotlib、scipy、scikit-learn…等一系列包du，需要安装pip来导入这些包才能进行相应运算。  
Anaconda(开源的Python包管理器)是一个python发行版，包含了conda、Python等180多个科学包及其依赖项。包含了大量的包，使用anaconda无需再去额外安装所需包。

#### 下载anaconda ####

https://www.anaconda.com/distribution/

我们这里以**Anaconda3-5.1.0-Linux-x86\_64.sh**为例，下载好以后拖到Linux系统根目录下下

#### 前置安装spark环境变量 ####

前面已经给大家讲过spark的具体安装教程，在这里就不给大家概述了，pyspark是依赖于spark的，所以必须要先把spark安装好，不然安装pyspark就免谈了，安装过spark以后，开始配置环境变量，

vi /etc/profile
    
    export SPARK_HOME=/opt/soft/spark234    #我的spark安装的目录
    export SPARK_CONF_DIR=$SPARK_HOME/conf
    export PATH=$PATH:$SPARK_HOME/bin

激活配置

source /etc/profile

**接下来开始安装anaconda**

使用 yum 安装 bzip2，缺少 bzip2 安装 Anaconda 会失败

yum install -y bzip2

安装 Anaconda3-5.1.0-Linux-x86\_64

bash Anaconda3-5.1.0-Linux-x86_64.sh

![在这里插入图片描述][20200829183547421.png_pic_center]  
根据提示输入ENTER，然后一直按回车或根据提示输入yes 只有最后提示要安装 Microsoft VSCode时回答no，这样就开始安装了。  
![在这里插入图片描述][20200829183855607.png_pic_center]  
安装完以后默认会在/root/anaconda3下。  
你也可以自己找目录放，如下图所示：  
![在这里插入图片描述][20200829184513500.png_pic_center]  
输入ENTER就会自己帮你放到/root/anaconda3，也可以自己输入存放的目录。

### 生成jupyter配置文件 ###

(我生成的文件是root用户路径下/root/.jupyter/jupyter\_notebook\_config.py)

进入你的用户根目录，生成配置文件

cd ~ 
    #或者
    cd /root
    
    #输入命令生成配置文件
    ./jupyter notebook --generate-config

#### 生成Jupyter登录密码 ####

输入命令

ipython

会出现提示语 **In \[1\]**，输入命令

from notebook.auth import passwd

出现提示语 **In \[2\]**，输入命令

passwd()

要求输入密码

1234

输入完密码后会出现密钥：生成一个’sha1:xxxxx’ ，用记事本 粘贴单引号里面的内容 .先保存好。

#### 配置jupyter\_notebook\_config.py文件 ####

允许从外部访问 Jupyter

cd /root/.jupyter
    vi jupyter_notebook_config.py
    
    c.NotebookApp.allow_root=True
    c.NotebookApp.ip='*'
    c.NotebookApp.open_browser=False
    #刚才生成的密钥，粘贴过来放到单引号里面
    c.NotebookApp.password=u'sha1:a7bd0a5fa349:d818d9bc31ee70715eff7b1705ebfb047cd38b72'     
    c.NotebookApp.port=7070

![在这里插入图片描述][20200829193012461.png_pic_center]

#### 加入anaconda环境变量 并激活 ####

vi /etc/profile
    
    export ANACONDA_HOME=/root/anaconda3 #anaconda3安装目录，前面提到过
    
    export PATH=$PATH:$ANACONDA_HOME/bin
    export PYSPARK_DRIVER_PYTHON=jupyter-notebook
    export PYSPARK_DRIVER_PYTHON_OPTS="--ip=0.0.0.0 --port=8888"

激活配置

source /etc/profile

#### 执行命令启动pyspark ####

如果要环境加入pyspark 就直接执行命令

pyspark

如果只需要普通python环境 就输入命令

jupyter notebook --allow-root

输入完成后，会有个端口提示，那就是要进入jupyter浏览器的端口，前提是要先启动spark,在这里我就不多说了

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70_pic_center]

#### 通过浏览器打开 Jupyter ####

如上图提示，端口号是8889，那么我民就去输入网址自己的主机IP和这个端口就可以进入jupyter

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70_pic_center 1]如上图所示，输入地址后会有个提示，要求输入密码，这是输入你的密码就可以登录了  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70_pic_center 2]  
**注意：**

有时会启动不了pyspark,会报错没有执行权限，这时就需要更改权限了。

cd /root/anaconda3/share
    chmod +777 jupyter

这时就可以启动了！

[20200829183547421.png_pic_center]: /images/20221123/a8c6d85f8d7943c4a9f185cb3b1c7fed.png
[20200829183855607.png_pic_center]: /images/20221123/a7c6c006802542939115671d92a00c0e.png
[20200829184513500.png_pic_center]: /images/20221123/19ce30a1dc2d4af2a184b852526416eb.png
[20200829193012461.png_pic_center]: /images/20221123/d87ea8dbd3cd4b219daf3dd96aa02892.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/a925553a28f64f69bde3aca248e23042.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/930126f3d9f24b0a90c339d5da35b8b2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/f8e02de4e6c346c7b4ec02199588b770.png