windows下Spark环境搭建

比眉伴天荒 2022-10-07 09:48 355阅读 0赞

**参考文章：**[https://www.jb51.net/article/163020.htm][https_www.jb51.net_article_163020.htm]

# 一、环境准备 #

1、Jdk1.8(windows版本)

2、scala(windows版本)

3、spark安装包（spark-2.4.7-bin-hadoop2.7）

4、hadoop安装包（hadoop-2.7.1）

# 二、搭建 #

1、安装jdk并配置环境变量；

2、安装scala并配置环境变量；

3、解压spark安装包并配置环境变量；

4、解压hadoop安装包并配置环境变量；

5、在cmd输入spark-shell

# 三、遇到的问题 #

**1、cmd执行spark-shell出现如下错误：**

java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries!

解决办法：

(1) ipconfig命令查出本机ip;

(2)在etc/hosts中添加配置：192.168.xxx.xxx  spark.driver.host

**2、cmd执行spark-shell出现如下错误**：

Missing Python executable 'python3', defaulting to 'C:\Users\lenovo\AppData\Local\Programs\Python\Python39\Scripts\..' for SPARK_HOME environment variable. Please install Python or specify the correct Python executable in PYSPARK_DRIVER_PYTHON or PYSPARK_PYTHON environment variable to detect SPARK_HOME safely.

解决办法：

在配置环境变量时要先配置SPARK\_HOME，再配置PATH;

不能直接PATH一步到位bin目录下；

[https_www.jb51.net_article_163020.htm]: https://www.jb51.net/article/163020.htm

发表评论取消回复

表情：

评论列表（有 0 条评论，355人围观）

还没有评论，来说两句吧...

相关阅读

相关 spark java eclipse_windows下 eclipse搭建spark java编译环境

环境： win10 jdk1.8 之前有在虚拟机或者集群上安装spark安装包的，解压到你想要放spark的本地目录下，比如我的目录就是D:\\Hadoop\\spark

亦凉/ 2022年11月02日 13:13/ 0 赞/ 174 阅读

相关 windows下Spark环境搭建

参考文章：[https://www.jb51.net/article/163020.htm][https_www.jb51.net_article_163020.htm]

比眉伴天荒/ 2022年10月07日 09:48/ 0 赞/ 356 阅读

相关 windows下php环境搭建

文章目录 1 配置Apache服务器 1.1 下载Apache服务器 1.2 修改配置文件httpd.conf 1.3 安装

梦里梦外;/ 2022年09月02日 05:16/ 0 赞/ 281 阅读

相关 Windows下搭建Python环境

实验室的NAO得用Python啊，于是开始了学习Python之旅：入门是参考http://www.liaoxuefeng.com/ 写的通俗易懂。进入正题： Window

末蓝、/ 2022年08月01日 11:08/ 0 赞/ 357 阅读

相关 windows下搭建Lua环境

网上很多文章基本都是copy，只有你配置成功一次，你再回去看那些文章，才深有体会。 1.首先下载lua，这个不用说 2.解压，到任意位置，路径中不要有中文 3.打开VS的

心已赠人/ 2022年07月19日 05:09/ 0 赞/ 737 阅读

相关 Centos下环境搭建spark环境

前提：已安装Hadoop(至少安装了HDFS) 一、安装scala 下载scala-2.10.4.tgz 地址：[http://www.scala-lang.org/d

电玩女神/ 2022年07月15日 11:26/ 0 赞/ 321 阅读

相关 Windows下 redmine 环境搭建

Redmine安装和使用心得终于忍受不了公司使用论坛+Excel来进行bug反馈和管理工作了，于是花了一个上午时间研究了下bug管理系统。这样一个bug管理系统可以轻

快来打我*/ 2022年04月05日 15:22/ 0 赞/ 786 阅读

相关 Windows下Python环境搭建

文章目录 Python基本环境搭建安装python官方安装包配置环境变量安装pip

以你之姓@/ 2022年03月25日 09:12/ 0 赞/ 397 阅读

相关 windows下kettle环境搭建

1.安装软件准备 pdi-ce-8.2.0.0-342.zip，jdk-8u161-windows-x64.exe 不同kettle需要不同版本的jdk支持，kettle8

红太狼/ 2022年02月24日 05:08/ 0 赞/ 576 阅读

相关 Windows下的搭建Hadoop、Spark和Scala编程环境

Windows下的搭建Hadoop、Spark和Scala编程环境本文是基于Windows 10系统环境，搭建Hadoop、Spark和Scala编程环境 Wi

浅浅的花香味﹌/ 2021年10月01日 03:04/ 0 赞/ 376 阅读