win10 安装 spark 开发环境

红太狼 2021-12-21 16:27 279阅读 0赞

> ### 1、配置 hadoop ###

下载hadoop：官方地址：[http://hadoop.apache.org/releases.html][http_hadoop.apache.org_releases.html]

解压配置环境变量：

HADOOP\_HOME 和 Path。

> ### 2、配置Spark ###

下载spark:官网地址：[http://spark.apache.org/downloads.html][http_spark.apache.org_downloads.html]

下载完成后解压到D盘根目录下即可。D:\\spark-2.3.0-bin-hadoop2.6。

配置Path：将D:\\spark-2.3.0-bin-hadoop2.6\\bin添加到Path中。

> ### 3、下载hadoop 插件包（下面两个文件） ###

winutils.exe

[hadoop.dll][]

放置在文件夹\\hadoop\\bin 目录下下面

> ### **附：winutils下载地址 （hadoop 插件包的所有的版本）** ###

[https://github.com/steveloughran/winutils][https_github.com_steveloughran_winutils]

[https://github.com/cdarlint/winutils][https_github.com_cdarlint_winutils]

附录：

spark Windows 开发环境.md

[https://note.youdao.com/ynoteshare1/index.html?id=3287f13ad5168e6d641fa260518dbeed&type=note][https_note.youdao.com_ynoteshare1_index.html_id_3287f13ad5168e6d641fa260518dbeed_type_note]

[http_hadoop.apache.org_releases.html]: http://hadoop.apache.org/releases.html
[http_spark.apache.org_downloads.html]: http://spark.apache.org/downloads.html
[hadoop.dll]: https://raw.githubusercontent.com/SweetInk/hadoop-common-2.7.1-bin/master/hadoop.dll
[https_github.com_steveloughran_winutils]: https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fsteveloughran%2Fwinutils
[https_github.com_cdarlint_winutils]: https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fcdarlint%2Fwinutils
[https_note.youdao.com_ynoteshare1_index.html_id_3287f13ad5168e6d641fa260518dbeed_type_note]: https://note.youdao.com/ynoteshare1/index.html?id=3287f13ad5168e6d641fa260518dbeed&type=note

发表评论取消回复

表情：

评论列表（有 0 条评论，279人围观）

还没有评论，来说两句吧...

相关阅读

相关 win10环境安装kettle&linux环境安装kettle

文章目录前言一、Kettle下载 : 1、kettle源代码下载地址 : 2、官网下载 3、JDK安装二、

蔚落/ 2024年04月01日 16:09/ 0 赞/ 113 阅读

相关 Win10安装Hadoop+Spark（详解）| IDEA开发

1.安装Hadoop 到官网[Apache Hadoop][]下载与上边的Spark对应的版本，或者下载其他版本的 ![2829164bcbe6474d8f53efd3

傷城~/ 2024年03月22日 10:50/ 0 赞/ 32 阅读

相关 win10环境下载安装JDK

一、下载首先，要在`win10`操作系统上安装`jdk`，就要去`oracle`官网下载合适的`jdk`版本，在这里以`jdk10`进行安装下载链接：[oracle官网

太过爱你忘了你带给我的痛/ 2024年02月05日 14:20/ 0 赞/ 92 阅读

相关 win10 安装C/C++环境

下载安装包访问 `http://win-builds.org/doku.php` ，如图点击 `Download for Windows` 连接 ![在这里插入

谁借莪１个温暖的怀抱￠/ 2023年10月05日 21:46/ 0 赞/ 65 阅读

相关 Win10下安装spark踩坑实录

配置spark之前，需要有jdk8，Hadoop环境目录配置spark之前，需要有jdk8，Hadoop环境一.安装IDE

深碍√TFBOYSˉ_/ 2023年02月14日 07:49/ 0 赞/ 14 阅读

相关 Java 环境安装 --Windows(win10)

在上篇 ElasticSearch 博客中我们已经介绍安装 Java的1.8 的版本，其实我还想再装一个其他版本的。so 写一篇博客吧，hah。安装安装官方的步骤应

刺骨的言语ヽ痛彻心扉/ 2022年11月26日 12:56/ 0 赞/ 230 阅读

相关 Flutter开发环境配置（win10）

在 Windows 操作系统上安装和配置 Flutter 开发环境目录系统配置要求

迈不过友情╰/ 2022年11月10日 14:59/ 0 赞/ 354 阅读

相关 win10用安装java环境变量_Win10电脑安装Java配置环境变量

原标题：Win10电脑安装Java配置环境变量 java测试在windows10专业版下测试的 1.安装JDK，从Oracle JDK下载官方网站上下载，也可以通过搜索JD

朱雀/ 2022年11月09日 12:46/ 0 赞/ 292 阅读

相关 win10环境RabbitMQ安装步骤

第一步：下载并安装erlang 原因：RabbitMQ服务端代码是使用并发式语言Erlang编写的，安装Rabbit MQ的前提是安装Erlang。下载地址：[htt

蔚落/ 2022年03月18日 01:58/ 0 赞/ 371 阅读

相关 win10 安装 spark 开发环境

> 1、配置 hadoop 下载hadoop：官方地址：[http://hadoop.apache.org/releases.html][http_hadoop.apac

红太狼/ 2021年12月21日 16:27/ 0 赞/ 280 阅读