PySpark安装和测试

冷不防 2021-12-19 03:25 286阅读 0赞

## 简述 ##

先简单把流程过一遍，大家根据自己水平来看就好了。

1.  java的版本一定要安装到**java8**，高版本也不行，低版本也不行。
2.  安装Hadoop：[http://www.apache.org/dyn/closer.cgi/hadoop/common][http_www.apache.org_dyn_closer.cgi_hadoop_common]
3.  安装Apach Spark：[http://spark.apache.org/downloads.html][http_spark.apache.org_downloads.html]
4.  安装pyspark：`pip install pyspark`

理论上这个流程已经可以了，我相信搜索到这篇文章的话，就有可能是下面的这几个细节没有注意：

## 细节一 ##

**java的版本号不是1.8** :[https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html][https_www.oracle.com_technetwork_java_javase_downloads_jdk8-downloads-2133151.html]

## 细节二 ##

**java所在目录中出现空格**

这个直接替换下目录就好了

## 细节三 ##

*添加进环境变量时，所有的相关的目录都需要添加新的变量\_home，如*\*，这样的模式  
（很难说为什么，但是就是这样）不然会出现**找不到目录**的情况。

[http_www.apache.org_dyn_closer.cgi_hadoop_common]: http://www.apache.org/dyn/closer.cgi/hadoop/common
[http_spark.apache.org_downloads.html]: http://spark.apache.org/downloads.html
[https_www.oracle.com_technetwork_java_javase_downloads_jdk8-downloads-2133151.html]: https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

发表评论取消回复

表情：

评论列表（有 0 条评论，286人围观）

还没有评论，来说两句吧...

相关阅读

相关安装pyspark kernel

编辑 mkdir ~/.ipython/kernels/pyspark vim ~/.ipython/kernels/pyspark/kernel.jso

小灰灰/ 2024年01月18日 06:24/ 0 赞/ 171 阅读

相关【Python】PySpark 数据处理 ② ( 安装 PySpark | PySpark 数据处理步骤 | 构建 PySpark 执行环境入口对象 )

文章目录一、安装 PySpark 1、使用 pip 安装 PySpark 2、国内代理镜像 3、PyCharm 中安装 P

雨点打透心脏的1/2处/ 2023年10月14日 09:43/ 0 赞/ 51 阅读

相关 pyspark安装教程

pyspark安装教程一、Windows下配置pyspark环境 1.1 JDK下载安装 1.2 Scala下载安

不念不忘少年蓝@/ 2023年10月12日 14:48/ 0 赞/ 9 阅读

相关 pyspark系列2-linux安装pyspark

文章目录一.安装Java和Scale 1.1 安装java 1.2 安装Scala 1.2.1 安装

Dear 丶/ 2023年01月17日 02:28/ 0 赞/ 193 阅读

相关 pyspark安装

详细安装见参考： http://blog.csdn.net/yiyouxian/article/details/51020334 htt

我不是女神ヾ/ 2022年06月09日 05:49/ 0 赞/ 264 阅读

相关 Ubuntu下安装pyspark

Ubuntu下安装pyspark 安装环境 Python2.7 Ubuntu14.04 Java6

待我称王封你为后i/ 2022年06月02日 07:43/ 0 赞/ 651 阅读

相关 pyspark系列--pandas和pyspark对比

目录 1. pandas和pyspark对比 1.1. 工作方式 1.2. 延迟机制 1.3.

Love The Way You Lie/ 2022年05月29日 12:40/ 0 赞/ 536 阅读

相关 pyspark系列--连接pyspark

目录 1. 连接spark 1.1. 简单连接spark 1.2. 连接spark集群 1.3.

小鱼儿/ 2022年05月29日 12:40/ 0 赞/ 283 阅读

相关 intellij idea 安装pyspark，查看pyspark源码

file -project structure-SDKs-点击+号-输入pyspark ![70][] [70]: /images/20220516/42b20a7937

￡神魔★判官ぃ/ 2022年05月16日 13:11/ 0 赞/ 347 阅读

相关 PySpark安装和测试

简述先简单把流程过一遍，大家根据自己水平来看就好了。 1. java的版本一定要安装到java8，高版本也不行，低版本也不行。 2. 安装Hadoop：[http

冷不防/ 2021年12月19日 03:25/ 0 赞/ 287 阅读