伪分布式的搭建（启动HDFS并运行MapReduce程序）

悠悠 2022-04-11 15:11 179阅读 0赞

*如果前一章测试成功，那么恭喜你，你已经可以开始新的篇章了（但是如果测试不成功，请务必搭建测试成功后再看此篇章）*

### 伪分布式的搭建（启动HDFS并运行MapReduce程序） ###

*  1、启动HDFS并运行MapReduce程序
 *   *  1.1配置伪分布式集群
     *   *  1.1.1 \*\*配置hadoop-env.sh\*\*
         *  1.1.2\*\*配置core-site.xml\*\*
         *  1.1.3 \*\*配置hdfs-site.xml\*\*
     *  1.2启动集群
     *   *  1.2.1切换到当前目录
         *  1.2.2格式化NameNode
         *  1.2.3启动NameNode（执行成功后可执行JPS看是否启动成功）
         *  1.2.4启动DataNode
         *  1.2.5注意的一些事项
     *  1.3查看集群
     *   *  1.3.1web端查看HDFS文件系统
     *  1.4操作集群
     *   *  1.4.1切换到当前目录
         *  1.4.2在HDFS文件系统上创建一个input文件夹
         *  1.4.3将测试文件内容上传到文件系统上
         *  1.4.4查看上传的文件是否正确
         *  1.4.5运行MapReduce程序
         *  1.4.6查看输出结果
         *  1.4.7 将测试文件内容下载到本地
         *  1.4.8删除输出结果

# 1、启动HDFS并运行MapReduce程序 #

## 1.1配置伪分布式集群 ##

### 1.1.1 **[配置hadoop-env.sh][hadoop-env.sh]** ###

切换到当前目录中：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70]  
修改hadoop-env.sh的JAVA\_HOME 路径：vim [hadoop-env.sh][hadoop-env.sh 1]  
添加如下内容：  
![在这里插入图片描述][20181207084308974.png]

### 1.1.2**配置core-site.xml** ###

执行命令：vim core-site.xml  
文件加入如下文本：

<property>
    <name>fs.defaultFS</name>
        <value>hdfs://hadoop101:9000</value>
    </property>
    
    
    <property>
    	<name>hadoop.tmp.dir</name>
    	<value>/opt/module/hadoop-2.7.2/data/tmp</value>
    </property>

### 1.1.3 **配置hdfs-site.xml** ###

执行命令：vim hdfs-site.xml

<property>
    	<name>dfs.replication</name>
    	<value>1</value>
    </property>

## 1.2启动集群 ##

### 1.2.1切换到当前目录 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70 1]

### 1.2.2格式化NameNode ###

执行命令：bin/hdfs namenode -format  
![在这里插入图片描述][20181207084933205.png]

### 1.2.3启动NameNode（执行成功后可执行JPS看是否启动成功） ###

执行命令：sbin/hadoop-daemon.sh start namenode  
![在这里插入图片描述][20181207085016346.png]

### 1.2.4启动DataNode ###

执行命令：sbin/hadoop-daemon.sh start datanode  
![在这里插入图片描述][20181207085103894.png]

### 1.2.5注意的一些事项 ###

1.***格式化NameNode，会产生新的集群id,导致NameNode和DataNode的集群id不一致，集群找不到已往数据，而导致集群启动异常***。  
所以，再次格式NameNode时，一定要先删除data数据和log日志，然后再格式化NameNode。（当然也还有其他办法，但是这个是最直接了当的！！！）  
2.**JPS执行无效**  
原因：全局变量hadoop、java没有生效，需要source /etc/profile文件。

## 1.3查看集群 ##

### 1.3.1web端查看HDFS文件系统 ###

浏览器中查看：http://Linux ip地址:50070/dfshealth.html\#tab-overview  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70 2]  
如果不能查看，看如下帖子处理：[http://www.cnblogs.com/zlslch/p/6604189.html][http_www.cnblogs.com_zlslch_p_6604189.html]

## 1.4操作集群 ##

### 1.4.1切换到当前目录 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70 3]

### 1.4.2在HDFS文件系统上创建一个input文件夹 ###

执行命令：bin/hdfs dfs -mkdir -p /user/lsl/input  
![在这里插入图片描述][20181207175511535.png]

### 1.4.3将测试文件内容上传到文件系统上 ###

执行命令：bin/hdfs dfs -put wcinput/wc.input /user/lsl/input/

### 1.4.4查看上传的文件是否正确 ###

1.执行命令：bin/hdfs dfs -ls /user/lsl/input/  
![在这里插入图片描述][20181207175704737.png]  
2.执行命令：bin/hdfs dfs -cat /user/lsl/input/wc.input  
![在这里插入图片描述][20181207175752775.png]  
3.也可在浏览器上查看  
![在这里插入图片描述][20181207180008591.png]

### 1.4.5运行MapReduce程序 ###

执行命令：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/lsl/input/ /user/lsl/output

### 1.4.6查看输出结果 ###

1.执行命令：bin/hdfs dfs -cat /user/lsl/output/\*  
![在这里插入图片描述][20181207180106174.png]  
2.在浏览器上查看  
![在这里插入图片描述][20181207180134391.png]

### 1.4.7 将测试文件内容下载到本地 ###

执行命令：hdfs dfs -get /user/lsl/output/part-r-00000 ./wcoutput/  
![在这里插入图片描述][20181207180229450.png]

### 1.4.8删除输出结果 ###

1.执行命令：hdfs dfs -rm -r /user/lsl/output  
![在这里插入图片描述][20181207180326623.png]  
2.查看：  
![在这里插入图片描述][20181207180351127.png]

版权声明：本博客为记录本人自学感悟，转载需注明出处！  
[https://me.csdn.net/qq\_39657909][https_me.csdn.net_qq_39657909]

[hadoop-env.sh]: http://xn--hadoop-env-o150at28m.sh
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70]: /images/20220411/90e174ed73ce4bc0b19d7a28d460f2b8.png
[hadoop-env.sh 1]: http://hadoop-env.sh
[20181207084308974.png]: /images/20220411/662d5a4d68ee4a9f9a2ecab11435744c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70 1]: /images/20220411/9a0351ab18564a378e36538fd1e348af.png
[20181207084933205.png]: /images/20220411/57a11b4dd28a4b2e8a37bc7ec1daf8cb.png
[20181207085016346.png]: /images/20220411/ba98c5493d604dfdac91d791b36d68b3.png
[20181207085103894.png]: /images/20220411/20e7d3a3ea6840a5987852439515dc46.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70 2]: /images/20220411/b7d0aa2f45ef48108a75e5192d9d2fe9.png
[http_www.cnblogs.com_zlslch_p_6604189.html]: http://www.cnblogs.com/zlslch/p/6604189.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70 3]: /images/20220411/98ed0f5a22fc42309c260e51fd6f3786.png
[20181207175511535.png]: /images/20220411/7216638366d44994ad6b3910527207ad.png
[20181207175704737.png]: /images/20220411/bcd744dd50134ef1897e79835eda4184.png
[20181207175752775.png]: /images/20220411/c7d810c97ae544e5a4ac4de799b44879.png
[20181207180008591.png]: /images/20220411/caa7f6a915904b07bf9f1d4472511e98.png
[20181207180106174.png]: /images/20220411/f9607bf433214944985cd7617e7cefbb.png
[20181207180134391.png]: /images/20220411/5c782dc3b5894547a3c8daa179a5e10f.png
[20181207180229450.png]: /images/20220411/b8f1862b986d4e05ab36eac50b355ab1.png
[20181207180326623.png]: /images/20220411/ef6af3fc711746379bc47ee2532d8835.png
[20181207180351127.png]: /images/20220411/3fc3d4e9064c46f7a6caadd83f2ac22a.png
[https_me.csdn.net_qq_39657909]: https://me.csdn.net/qq_39657909