Windows系统搭建Hadoop，Spark开发环境

Love The Way You Lie 2022-01-31 05:09 453阅读 0赞

### 1.准备工具： ###

**1.Hadoop所需要替换的bin目录下的文件**

**2.Hadoop 3.1**

**3.spark-2.3.1**

**4.JDK 1.8**

**工具下载： [下载][Link 1]**

### **2.解压配置** ###

**2.1 将下载好的Hadoop 和 Spark进行解压，并重命名，此处我重名为：hadoop-3.1.0和spark**

**2.2 将准备工具中的第一项下载的包(hadoop3.1-bin)进行解压，并进行更换 解压的hadoop3.1.0下的`/bin`目录里的文件**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmhhaXl1bl95dGR4_size_16_color_FFFFFF_t_70][]

**2.3 环境变量配置**

2.3.1 配置HADOOP\_HOME

![20190515180900321.png][]

2.3.2 配置SPARK\_HOME

![2019051518101353.png][]

2.3.3 将环境变量 %HADOOP\_HOME%\\bin; 加入path

2.3.4 修改D:\\hadoop-3.1.0\\etc\\hadoop目录下的hadoop-env.cmd文件，为本机jdk路径

@rem The java implementation to use.  Required.
    set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_191

**3.修改etc\\hadoop文件配置**

3.1 修改core-site.xml

<configuration>
      <property>  
        <name>fs.default.name</name>  
        <value>hdfs://localhost:9000</value>  
      </property>  
    </configuration>

3.2 修改hdfs-site.xml 中：其中在hadoop文件下新建data文件夹，在data文件夹下新建namenode文件加和datanode文件夹

file地址，写自己的文件地址

<configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:/D:/hadoop-3.1.0/data/namenode</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:/D:/hadoop-3.1.0/data/datanode</value>
        </property>
    </configuration>

3.3 修改mapred-site.xml

<configuration>
        <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
        </property>
    </configuration>

3.4 修改yarn-site.xml

<configuration>
        <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
        </property>
        <property>
           <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
           <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
          <property>
                    <name>yarn.resourcemanager.webapp.address</name>
                    <value>127.0.0.1:8088</value>
            </property>
            <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
    </configuration>

### 3.启动测试 ###

**3.1启动hdfs 和 yarn**

进入D:\\hadoop-3.1.0\\sbin文件夹，按"Shift" + "从此处打开命令窗口"，输入：hdfs namenode -format 执行完后

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmhhaXl1bl95dGR4_size_16_color_FFFFFF_t_70 1][]

**3.2 执行 start-dfs.cmd 会另外开启两个窗口，没有报错，即启动成功**

**3.3 执行 yarn start-yarn.cmd**

**3.4 都启动之后访问：[http://localhost:8088/][http_localhost_8088] 出现以下页面即为成功**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmhhaXl1bl95dGR4_size_16_color_FFFFFF_t_70 2][]

再访问 [http://localhost:9870/][http_localhost_9870] 这个地址 出现以下页面即为成功

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmhhaXl1bl95dGR4_size_16_color_FFFFFF_t_70 3][]

**3.5 直接进入D:\\spark\\bin 运行spark-shell.cmd即可**

**![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmhhaXl1bl95dGR4_size_16_color_FFFFFF_t_70 4][]**

**Spark的Scala语言编辑窗口出现，说明本次开发环境的搭建顺利完成了。**

[Link 1]: https://download.csdn.net/download/linhaiyun_ytdx/11177989
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmhhaXl1bl95dGR4_size_16_color_FFFFFF_t_70]: /images/20220131/97a5dedfe7a84724aa838b29a646e220.png
[20190515180900321.png]: /images/20220131/a8965f981c1a4c12a0f1c129904671d6.png
[2019051518101353.png]: /images/20220131/2f4c81b53a4748fc9e31b9d020d2b390.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmhhaXl1bl95dGR4_size_16_color_FFFFFF_t_70 1]: /images/20220131/256a9c40544e4842986b7e47d0cfa08b.png
[http_localhost_8088]: http://localhost:8088/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmhhaXl1bl95dGR4_size_16_color_FFFFFF_t_70 2]: /images/20220131/cd86a9476d224cf5a4a105094f992bc0.png
[http_localhost_9870]: http://localhost:9870/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmhhaXl1bl95dGR4_size_16_color_FFFFFF_t_70 3]: /images/20220131/2333e0501a57488c9b16210220c387b2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmhhaXl1bl95dGR4_size_16_color_FFFFFF_t_70 4]: /images/20220131/7f33b9c4190d4d68b7fcc3fd20e13c35.png