Win10安装Hadoop+Spark（详解）| IDEA开发

傷城~ 2024-03-22 10:50 18阅读 0赞

### 1.安装Hadoop ###

到官网[Apache Hadoop][]下载与上边的Spark对应的版本，或者下载其他版本的

![2829164bcbe6474d8f53efd3cef94b88.png][]

下载完成后解压到你自定义的目录，然后配置**环境变量**

*  配置变量名为`HADOOP_HOME`，值为**D:\\Hadoop\\hadoop-3.1.3**
 *  在`Path`变量下新建**`%HADOOP_HOME%\bin`**

到这个链接：[GitHub - cdarlint/winutils: winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windows][GitHub - cdarlint_winutils_ winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windows]

![8aa2247993194867837a1a0d4d412e23.png][]

下载对应版本的**bin**目录下载**`hadoop.dll`**和**`winutils.exe`**，复制到hadoop目录的**`bin`**目录下

![6f45ad2a96d349c7a91002f032b39d5d.png][]

**检查安装是否成功**：win+r, 打开**cmd**，输入如下命令  
hadoop version

![d47492e965034f9cb99c6703f860d114.png][]

显示版本即为**安装成功**！

### 2.安装Spark ###

到官网[Downloads | Apache Spark][Downloads _ Apache Spark]选择合适的版本下载，注意Spark与Hadoop版本选择要相对应，建议下载预编译（`Pre-built`）好的版本，省得麻烦

![0c7eafc3ebf5f9a86365b4758b9c071f.png][]

下载完成后**解压**到你自定义的目录，然后配置**环境变量**：

*  配置变量名为`SPARK_HOME`，值为D:\\Spark\\spark-3.0.0-bin-hadoop3.2
 *  在`Path`变量下新建**`%SPARK_HOME%\bin`**

### 3.IDEA测试Spark开发 ###

这里还需要下载一个**Scala**的框架，**右键点击项目**，然后选择第二行**添加框架支持**

![4f08a163aaad45d19d736517b3fde2bb.png][]

打**开项目结构**，添加**Spark**的**jar**到模块中:

![14d77c581580494ba475350712ef125a.png][]

然后创建一个包，写如下代码：

import org.apache.spark.rdd.RDD
    import org.apache.spark.{SparkConf, SparkContext}
    
    object TmoonTest {
      def main(args: Array[String]): Unit = {
    //    new SparkConf()
        val sparkConf = new SparkConf().setMaster("local").setAppName("Wordcount")
        val sc = new SparkContext(sparkConf)
        println("Hello scala");
        val lines: RDD[String] = sc.textFile("datas")
        val words: RDD[String] = lines.flatMap(_.split(" "))
        val wordGroup: RDD[(String, Iterable[String])] = words.groupBy(word => word)
        val wordToCount = wordGroup.map {
          case (word, list) => {
            (word, list.size)
          }
        }
        val array: Array[(String, Int)] = wordToCount.collect()
        array.foreach(println)
        
        
        sc.stop()
      }
    }

再到文件根目录下，创建一个**datas** 的目录，放入两个文件，用来给我们代码跑：

![a8ad88a26c93432cbd480f7df26d415c.png][] 文件内容随便写单词。

之后就可以愉快的运行代码了。效果如下：

![1eb04b16acc14a9eb440bdacd061f56e.png][]

### 4、Tips 提示 ###

1、如果不想看到这么多的**红色日志信息，**我们可以在**resource**文件下配置一下**log4j.properties**，当然我这里是引入了对应的**依赖**了,

log4j.appender.atguigu.MyConsole=org.apache.log4j.ConsoleAppender
    log4j.appender.atguigu.MyConsole.target=System.out
    log4j.appender.atguigu.MyConsole.layout=org.apache.log4j.PatternLayout    
    log4j.appender.atguigu.MyConsole.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %10p (%c:%M) - %m%n
    log4j.rootLogger =error,atguigu.MyConsole

2、我是学习硅谷的，[大数据Spark实时项目丨Spark Streaming][Spark_Spark Streaming] ，在配置过程中也是遇到蛮多的问题，因为这个只是浅浅学习一下，所有有些东西也不是很懂的。

3、如果你也学习这个项目，有什么问题可以一起交流~

4、本文借鉴文章如下：

[windows本地配置spark开发环境][windows_spark]

觉得不错的话，点个赞吧~

[Apache Hadoop]: https://hadoop.apache.org/releases.html
[2829164bcbe6474d8f53efd3cef94b88.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/960aae396d2f41ac8449a99fe38069bc.png
[GitHub - cdarlint_winutils_ winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windows]: https://github.com/cdarlint/winutils
[8aa2247993194867837a1a0d4d412e23.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/1b06238c12a64f9484a2da000e113a41.png
[6f45ad2a96d349c7a91002f032b39d5d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/b0e3496a4b61413b8943609bdfacd663.png
[d47492e965034f9cb99c6703f860d114.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/8ad6aba46ec646b1a83a3e5b9b4780a4.png
[Downloads _ Apache Spark]: https://spark.apache.org/downloads.html
[0c7eafc3ebf5f9a86365b4758b9c071f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/37c22bc93f8c4f469c9c95a4877e7265.png
[4f08a163aaad45d19d736517b3fde2bb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/e00c82722fc9444aa0e178f8178fc6bc.png
[14d77c581580494ba475350712ef125a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/a77863769219484b9bd2c06d465949bf.png
[a8ad88a26c93432cbd480f7df26d415c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/3ed64c17ca08493fbc94ebe0a4b412e9.png
[1eb04b16acc14a9eb440bdacd061f56e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/b45b822d7d484e42b8265381767b4d5f.png
[Spark_Spark Streaming]: https://www.bilibili.com/video/BV1wZ4y1a7Y6?p=15&vd_source=61797847132694249b7545b50b02c981
[windows_spark]: https://dr34m.gitee.io/2022/01/newpost-31/