二十五、伪分布式（Pseudo-Distributed Operation、单节点）之启动HDFS并运行MapReduce 程序

深碍√TFBOYSˉ_ 2022-05-08 13:46 115阅读 0赞

#            伪分布式（Pseudo-Distributed Operation、单节点）之启动HDFS并运行MapReduce 程序 #

文章步骤：

（1）准备1台客户机
    	（2）安装jdk
    	（3）配置jdk环境变量
    	（4）安装hadoop
    	（5）配置hadoop环境变量
    	（6）配置hadoop集群
    	（7）启动、测试集群增、删、查
    	（8）执行wordcount案例

### 1、准备一台客户机 ###

略

### 2、安装jdk ###

jdk安装包解压的过程

### 3、配置jdk环境变量 ###

编辑/etc/profile文件，加入：

##JAVA_HOME
    export JAVA_HOME=/opt/module/jdk8
    export PATH=$PATH:$JAVA_HOME/bin
    export PATH=$PATH:$JAVA_HOME/sbin

### 4、安装hadoop ###

hadoop安装包解压的过程，不会的看笔者上一篇文章。

路径：/opt/module
    [admin@hadoop12 module]$ tar -zxvf hadoop-2.7.2.tar.gz

### 5、配置hadoop环境变量 ###

[admin@hadoop12 hadoop-2.7.2]$ vim  /etc/profile

在profile文件末尾添加：

##HADOOP_HOME
    export HADOOP_HOME=/opt/module/hadoop-2.7.2
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin

让配置文件生效：

[admin@hadoop12 hadoop-2.7.2]$ source /etc/profile

验证hadoop是否安装成功：

[admin@hadoop12 hadoop-2.7.2]$ hadoop
    Usage: hadoop [--config confdir] [COMMAND | CLASSNAME]
      CLASSNAME            run the class named CLASSNAME
     or
      where COMMAND is one of:
      fs                   run a generic filesystem user client
      version              print the version
      jar <jar>            run a jar file
                           note: please use "yarn jar" to launch
                                 YARN applications, not this command.
      checknative [-a|-h]  check native hadoop and compression libraries availability
      distcp <srcurl> <desturl> copy file or directories recursively
      archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
      classpath            prints the class path needed to get the
      credential           interact with credential providers
                           Hadoop jar and the required libraries
      daemonlog            get/set the log level for each daemon
      trace                view and modify Hadoop tracing settings
    
    Most commands print help when invoked w/o parameters.

### 6、配置hadoop集群 ###

#### 6.1、配置 hadoop-env. sh ####

修改hadoop-env. sh 中JAVA\_HOME变量值

[admin@hadoop12 hadoop-2.7.2]$ echo $JAVA_HOME
    /opt/module/jdk8
    [admin@hadoop12 hadoop-2.7.2]$ vim etc/hadoop/hadoop-env.sh

修改值:

export JAVA_HOME=/opt/module/jdk8

#### 6.2、配置core-site.xml ####

配置core-site.xml文件，声明namenode节点的地址；及hadoop运行是产生文件的目录。

[admin@hadoop12 hadoop-2.7.2]$ vim etc/hadoop/core-site.xml

在< configuration>< /configuration>标签下添加如下：

<property>
    	<name>fs.defaultFS</name>
        <value>hdfs://hadoop12:9000</value>
    </property>
    
    
    <property>
    	<name>hadoop.tmp.dir</name>
    	<value>/opt/module/hadoop-2.7.2/data/tmp</value>
    </property>

#### 6.3、配置hdfs-site.xml ####

[admin@hadoop12 hadoop-2.7.2]$ vim etc/hadoop/hdfs-site.xml

在< configuration>< /configuration>标签下添加如下：

<property>
    		<name>dfs.replication</name>
    		<value>1</value>
    	</property>

### 7、启动集群 ###

#### 7.1、格式化namenode ####

（第一次启动时格式化，以后就不要总格式化）

[admin@hadoop12 hadoop-2.7.2]$ bin/hdfs namenode -format

会创建一些运行时产生的目录

#### 7.2、启动namenode ####

[admin@hadoop12 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

#### 7.3、启动datanode ####

[admin@hadoop12 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

备注：  
**第二次启动(当data目录不存在，启动时就一定要格式化，如果存在就不需要格式化)：**  
删除：/opt/module/hadop-2.7.5/logs 文件夹  
临时文件夹： /tmp/hadoop-开头的都删除

[admin@hadoop12 hadoop-2.7.2]$ rm -rf  /opt/module/hadop-2.7.2/logs
    [admin@hadoop12 hadoop-2.7.2]$ rm -rf  /tmp/hadoop-*

### 8、查看集群 ###

#### 8.1、查看是否启动成功 ####

[admin@hadoop12 hadoop-2.7.2]$ jps
    8470 NameNode
    8633 Jps
    8556 DataNode

#### 8.2、查看产生的log日志 ####

当前目录：/opt/module/hadoop-2.7.2/logs

[admin@hadoop12 hadoop-2.7.2]$ cd logs/
    [admin@hadoop12 logs]$ ls
    hadoop-admin-datanode-hadoop12.log  hadoop-admin-namenode-hadoop12.out
    hadoop-admin-datanode-hadoop12.out  SecurityAuth-admin.audit
    hadoop-admin-namenode-hadoop12.log
    [admin@hadoop12 logs]$ cat hadoop-admin-datanode-hadoop12.log

#### 8.3、web端查看HDFS文件系统 ####

http://192.168.1.112:50070/dfshealth.html#tab-overview
    		注意：如果不能查看，看如下帖子处理  http://www.cnblogs.com/zlslch/p/6604189.html

![在这里插入图片描述][70]

### 9、操作集群 ###

#### 9.1、在hdfs文件系统上创建一个input文件夹 ####

[admin@hadoop12 hadoop-2.7.2]$  hadoop fs -mkdir -p /user/admin/mapreduce/wordcount/input

#### 9.2、将测试文件内容上传到文件系统上 ####

[admin@hadoop12 hadoop-2.7.2]$ hadoop fs -put wc.input  /user/admin/mapreduce/wordcount/input/

wc.input：HDFS上传的文件  
/user/admin/mapreduce/wordcount/input/：文件上传HDFS的目录

#### 9.3、查看上传的文件是否正确 ####

[admin@hadoop12 hadoop-2.7.2]$ hadoop fs -ls  /user/admin/mapreduce/wordcount/input/
    [admin@hadoop12 hadoop-2.7.2]$ hadoop fs -cat  /user/admin/mapreduce/wordcount/input/wc.input

#### 9.4、运行mapreduce程序 ####

[admin@hadoop12 hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/admin/mapreduce/wordcount/input/ /user/admin/mapreduce/wordcount/output

#### 9.5、查看输出结果 ####

命令行查看：

[admin@hadoop12 hadoop-2.7.2]$ hadoop fs -cat /user/admin/mapreduce/wordcount/output/*

浏览器查看：

http://192.168.1.112:50070/explorer.html#/user/admin/mapreduce/wordcount/output

![在这里插入图片描述][70 1]

#### 9.6、将测试文件内容下载到本地 ####

[admin@hadoop12 hadoop-2.7.2]$ hadoop fs -get /user/admin/mapreduce/wordcount/output/part-r-00000 ./wcoutput/

#### 9.7、删除输出结果 ####

[admin@hadoop12 hadoop-2.7.2]$ hdfs dfs -rm -r /user/admin/mapreduce/wordcount/output

### 10、关闭namenode、datanode、jps ###

#### 10.1、关闭namenode ####

[admin@hadoop12 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop namenode

#### 10.2、关闭datanode ####

[admin@hadoop12 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop datanode

#### 10.3、删除hdfs配置的/opt/module/hadoop-2.7.2/data目录 （该目录会自动生成） ####

[admin@hadoop12 hadoop-2.7.2]$ rm -rf /opt/module/hadoop-2.7.2/data

#### 10.4、删除日志目录：logs (启动程序后无法覆盖) ####

[admin@hadoop12 hadoop-2.7.2]$      rm  -rf  logs

#### 10.5、删除/tmp 目录下的hadoop开头文件（一般是进程类） ####

[admin@hadoop12 hadoop-2.7.2]$ rm -rf  /tmp/hadoop-*

#### 10.6、格式化 namenode ：删除旧的nadenode ####

[admin@hadoop12 hadoop-2.7.2]$ bin/hdfs namenode -format

每个namenode和datanode都是一一对应的，当namenode格式化前要确保datanode的文件夹data目录（在配置文件里配置的）是先删除的，否则就不要重新格式化这个namenode

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2JpZV85MDc0ODY4NTI_size_16_color_FFFFFF_t_70_pic_center][]

[70]: /images/20220508/0bfb1745a2f94ee1a3836a594bb85186.png
[70 1]: /images/20220508/a9cb86701020487fb9ccecd099365d77.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2JpZV85MDc0ODY4NTI_size_16_color_FFFFFF_t_70_pic_center]: /images/20220508/4d0abb1d811d463a9684e23b8a3d3953.png