Hadoop伪分布式部署过程

叁歲伎倆 2022-10-18 00:58 205阅读 0赞

## 伪分布式 ##

与完全分布式的区别是配置和完全分布式一样，但是它只运行一台服务器

### 配置HDFS并运行MapReduce ###

#### 配置HDFS ####

配置JAVA\_HOME，路径为：etc/hadoop/hadoop-env.sh，将JAVA\_HOME目录修改成本地JAVA\_HOME具体目录

export JAVA_HOME=/opt/module/jdk1.8.0_144

etc/hadoop/core-site.xml

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop112:9000</value>
    </property>
    
    
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.2/data/tmp</value>
    </property>

etc/hadoop/hdfs-site.xml

<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

#### 启动集群 ####

## 格式化NameNode，第一次启动时格式化，以后不要总格式化，格式化就是把数据清空
    bin/hdfs namenode -format
    
    ## 启动NameNode
    sbin/hadoop-daemon.sh start namenode
    
    ## 启动DataNode
    sbin/hadoop-daemon.sh start datanode

#### 查看是否启动成功 ####

可以使用jps命令来查看是否启动成功

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70]

或者访问该ip的50070端口的web界面，如果访问不了在所有配置文件均正常的情况下，查看防火墙是否关闭

\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hvq6tYdr-1622785968116)(/home/lxj/.config/Typora/typora-user-images/1622713541198.png)\]

#### 一些文件操作 ####

## 在hdfs上创建目录/user/bd/input
    hdfs dfs -mkdir -p /user/bd/input
    
    ## 查看/目录内容
    hdfs dfs -ls /
    
    ## 将本地文件上传到hdfs
    hdfs dfs -put wcinput/wc.input /user/bd/input
    
    ## 查看文件内容
    hdfs dfs -cat /user/bd/output/p*
    
    ## 删除文件夹
    hdfs dfs -rm -r /user/bd/output

#### NameNode已有数据的格式化 ####

1、先将对应进程关掉；

2、将产生的日志log目录删除；

3、将产生的数据删除；即etc/hadoop/core-site.xml中配置的hadoop.tmp.dir目录；

格式化 NameNode,会产生新的集群 id,导致 NameNode 和 DataNode 的集群 id 不一致,集群找不到已往数据，也会导致NameNode和DataNode启动异常。所以,格式 NameNode 时,一定要先删除data 数据和 log 日志,然后再格式化 NameNode。

正常情况下NameNode和DataNode有相同的集群Id（clusterID）

### 配置YARN并运行MapReduce ###

#### 配置YARN ####

配置JAVA\_HOME，路径为：etc/hadoop/yarn-env.sh和mapred-env.sh，将JAVA\_HOME目录修改成本地JAVA\_HOME具体目录

export JAVA_HOME=/opt/module/jdk1.8.0_144

etc/hadoop/yarn-site.xml

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop112</value>
    </property>

etc/hadoop/mapred-site.xml， 先对 mapred-site.xml.template 重新命名为)mapred-site.xml

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

#### 启动集群 ####

## 启动ResourceManager
    sbin/yarn-daemon.sh start resourcemanager
    
    ## 启动NodeManager
    sbin/yarn-daemon.sh start nodemanager

#### 查看是否启动成功 ####

可以使用jps命令来查看是否启动成功；

或者通过访问8088端口的web服务

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 1]

### 配置历史服务器 ###

#### 配置 ####

etc/mapred-site.xml

<property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop112:10020</value>
    </property>
    
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop112:19888</value>
    </property>

#### 启动 ####

## 启动历史服务器
    sbin/mr-jobhistory-daemon.sh start historyserver

#### 查看是否启动成功 ####

可以使用jps命令来查看是否启动成功；

或者通过访问19888端口的web服务

![在这里插入图片描述][20210604135336210.png]

特别注意的是使用ip的话，无法直接从yarn-web服务通过History直接跳转到历史服务器。

### 配置日志的聚集 ###

日志聚集的概念：应用运行完成后，将程序运行日志信息上传到HDFS系统上。

注意：开启日志聚集功能，需要重新启动NodeManager，ResourceManager和HistoryManager.

## 退出历史服务器
    sbin/mr-jobhistory-daemon.sh stop historyserver
    
    ## 退出NodeManger
    sbin/yarn-daemon.sh stop nodemanager
    
    ## 退出ResourceManager
    sbin/yarn-daemon.sh stop resourcemanager

#### 配置 ####

etc/hadoop/yarn-site.xml

<property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>

启动以上停用服务

## 启动ResourceManager
    sbin/yarn-daemon.sh start resourcemanager
    
    ## 启动NodeManger
    sbin/yarn-daemon.sh start nodemanager
    
    
    ## 启动历史服务器
    sbin/mr-jobhistory-daemon.sh start historyserver

### 配置文件说明 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 2]

对应的自定义配置文件分别是core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70]: /images/20221014/1c0bed66b60d4736a26db4674fe6dd40.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 1]: /images/20221014/6798e7a7cec6403ea0ee6f47ba45f517.png
[20210604135336210.png]: /images/20221014/acc4518733f34594adde7962abe609ec.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 2]: /images/20221014/734b42ef786b4c58a73b6d88116ed81d.png