Hadoop分布式环境配置(5)

- 日理万妓 2022-10-21 03:41 177阅读 0赞

# 系列文章目录 #

[Hadoop分布式环境配置(1)][Hadoop_1]  
[Hadoop分布式环境配置(2)][Hadoop_2]  
[Hadoop分布式环境配置(3)][Hadoop_3]  
[Hadoop分布式环境配置(4)][Hadoop_4]  
[Hadoop分布式环境配置(5)][Hadoop_5]

--------------------

### 文章目录 ###

*  系列文章目录
 *  前言
 *  配置四个核心配置文件
 *   *  core-site.xml
     *  hdfs-site.xml
     *  mapred-site.xml
     *  yarn-site.xml
 *  配置masters文件
 *  配置slaves文件
 *  文件配置
 *  总结

--------------------

# 前言 #

在 CentOS7 系统快速配置Hadoop，仅需配置主节点，配置完成后将Hadoop文件及jdk文件发送给从节点，即可完成分布式集群部署，本节主要介绍Hadoop文件配置

--------------------

# 配置四个核心配置文件 #

配置 **\{hadoop\_home\}(Hadoop所在位置)/etc/hadoop** 的四个配置文件，以下的s201为主节点主机名

## core-site.xml ##

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>属性值</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>fs.defaultFS</td> 
   <td>NameNode URL</td> 
   <td>服务器IP地址，也可以使用主机名</td> 
  </tr> 
  <tr> 
   <td>io.file.buffer.size</td> 
   <td>131072</td> 
   <td>该属性值单位为KB，131072KB即为默认的64M。SequenceFiles文件中.读写缓存size设定</td> 
  </tr> 
  <tr> 
   <td>hadoop.tmp.dir</td> 
   <td>文件路径</td> 
   <td>用来指定使用hadoop时产生文件的存放目录</td> 
  </tr> 
 </tbody> 
</table>

<?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
    	<property>
    		<name>fs.defaultFS</name>
    		<value>hdfs://s201:9000</value>
    	</property>
        <property>
            <name>io.file.buffer.size</name>
            <value>131072</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>file:/usr/hadoop/tmp</value>
        </property>
    </configuration>

## hdfs-site.xml ##

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>属性值</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>dfs.replication</td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>dfs.namenode.name.dir</td> 
   <td>在本地文件系统所在的NameNode的存储空间和持续化处理日志</td> 
   <td>命名空间和事务在本地文件系统永久存储的路径</td> 
  </tr> 
  <tr> 
   <td>dfs.namenode.data.dir</td> 
   <td></td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

<?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>    
    	<property>
    		<name>dfs.replication</name>
    		<value>3</value>	
    	</property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:/usr/hadoop/dfs/name</value>
        </property>
        <property>
            <name>dfs.namenode.data.dir</name>
            <value>file:/usr/hadoop/dfs/data</value>
        </property>
    </configuration>

## mapred-site.xml ##

注意：文件夹中一开始并没有mapred-site.xml这个文件，只有mapred-site.xml.template，因此需要先复制一份将副本改名为mapred-site.xml，**cp mapred-site.xml.template mapred-site.xml**

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>属性值</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>mapreduce.framework.name</td> 
   <td>yarn</td> 
   <td>执行框架设置为 Hadoop YARN</td> 
  </tr> 
  <tr> 
   <td>mapreduce.jobhistory.address</td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>mapreduce.jobhistory.webapp.address</td> 
   <td></td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

<?xml version="1.0"?>
    <configuration>
    	<property>
    		<name>mapreduce.framework.name</name>
    		<value>yarn</value>
    	</property>
        <property>
            <name>mapreduce.jobhistory.address</name>
            <value>s201:10020</value>
        </property>
        <property>
            <name>mapreduce.jobhistory.webapp.address</name>
            <value>s201:19888</value>
        </property>
    </configuration>

## yarn-site.xml ##

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>属性值</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>yarn.resourcemanager.hostname</td> 
   <td></td> 
   <td>RM的hostname</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.address</td> 
   <td>客户端对ResourceManager主机通过 host:port 提交作业</td> 
   <td>RM对客户端暴露的地址，客户端通过该地址向RM提交应用程序等</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.scheduler.address</td> 
   <td>ApplicationMasters 通过ResourceManager主机访问host:port跟踪调度程序获资源</td> 
   <td>RM对AM暴露的地址，AM通过地址想RM申请资源，释放资源等</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.resource-tracker.address</td> 
   <td>NodeManagers通过ResourceManager主机访问host:port</td> 
   <td>RM对NM暴露地址，NM通过该地址向RM汇报心跳，领取任务等</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.admin.address</td> 
   <td>管理命令通过ResourceManager主机访问host:port</td> 
   <td>管理员可以通过该地址向RM发送管理命令等</td> 
  </tr> 
  <tr> 
   <td>yarn.resourcemanager.webapp.address</td> 
   <td>ResourceManager web页面host:port</td> 
   <td>RM对外暴露的web http地址，用户可通过该地址在浏览器中查看集群信息</td> 
  </tr> 
  <tr> 
   <td>yarn.nodemanager.aux-services.mapreduce.shuffle.class</td> 
   <td></td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

<?xml version="1.0"?>
    <configuration>
    	<property>
    		<name>yarn.resourcemanager.hostname</name>
    		<value>s201</value>
    	</property>
    	<property>
    		<name>yarn.nodemanager.aux-services</name>
    		<value>mapreduce_shuffle</value>
    	</property>
        <property>
            <name>yarn.resourcemanager.address</name>
            <value>s201:8032</value>
        </property>
        <property>
            <name>yarn.resourcemanager.scheduler.address</name>
            <value>s201:8030</value>
        </property>
        <property>
            <name>yarn.resourcemanager.resource-tracker.address</name>
            <value>s201:8031</value>
        </property>
        <property>
            <name>yarn.resourcemanager.admin.address</name>
            <value>s201:8033</value>
        </property>
        <property>
            <name>yarn.resourcemanager.webapp.address</name>
            <value>s201:8088</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
            <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
    </configuration>

# 配置masters文件 #

masters文件设置的是运行secondary namenode的结点，并且可以在masters里面设置多个结点来运行secondary namenode。

vi masters
    # 没有 masters 文件就新建 mkdir masters
    # 加入主节点的主机名/IP地址(只能选一种，并与slaves文件保持一致)
    s201 / 192.168.142.201

# 配置slaves文件 #

slaves文件指明哪些节点运行DataNode进程。

vi slaves
      # 删除localhost，加入以下内容，DataNode节点的名称/IP地址(只能选一种，并与masters文件保持一致)
      s202 / 192.168.142.202
      s203 / 192.168.142.203
      s204 / 192.168.142.204

# 文件配置 #

1.  编辑 \{hadoop\_home\}(Hadoop所在位置)/etc/hadoop/hadoop-env.sh
    
        # 添加
        export JAVA_HOME=/home/jdk1.8.0_65(jdk位置)
2.  新建目录
    
        mkdir /usr/hadoop/tmp	-p
        # 注意：hdfs-site.xml 设置存放文件的name和data文件夹不要自己建，并且在启动前 hadoop namenode -format格式化
        mkdir /usr/hadoop/dfs/name -p 	# mkdir -p: 递归创建目录，即使上级目录不存在，会按目录层级自动创建目录
        mkdir /usr/hadoop/dfs/data -p
3.  修改 /usr/hadoop 目录的权限 (针对使用hadoop用户，root用户跳过)
    
        chown -R hadoop:hadoop /usr/hadoop/		# chown = change ownerp 用于设置文件所有者和文件关联组的命令
4.  分发配置，将文件同步其他节点
    
        cd /home/hadoop-2.7.3/etc/
        # 分发至其他主机
        scp -r hadoop [用户名]@[主机名]:/{
              hadoop_home}/hadoop/etc
        # 例如：
        scp -r hadoop root@s202:/soft/hadoop/etc/
        scp -r hadoop root@s203:/soft/hadoop/etc/
        scp -r hadoop root@s204:/soft/hadoop/etc/
        
        scp -r /usr/hadoop/ root@s202:/usr/
        scp -r /usr/hadoop/ root@s203:/usr/
        scp -r /usr/hadoop/ root@s204:/usr/
5.  格式化文件系统 (注意：仅namenode主节点执行，datanode从节点不执行)
    
        hadoop namenode -format
6.  启动Hadoop进程
    
        start-all.sh
7.  停止Hadoop进程
    
        stop-all.sh
8.  查看Java进程
    
        jps
9.  集群启动后的集群报告
    
        hdfs dfsadmin -report
10. 使用浏览器浏览Master节点机
    
        输入 http://{master Ip地址}:50070

# 总结 #

以上就是今天要讲的内容，本文仅仅简单介绍了Hadoop的文件配置和在Linux上的安装启动，完成本文的操作后即完成了对Hadoop的安装和配置。

[Hadoop_1]: https://blog.csdn.net/weixin_45118180/article/details/116354179
[Hadoop_2]: https://blog.csdn.net/weixin_45118180/article/details/113705827
[Hadoop_3]: https://blog.csdn.net/weixin_45118180/article/details/116354472
[Hadoop_4]: https://blog.csdn.net/weixin_45118180/article/details/116354598
[Hadoop_5]: https://blog.csdn.net/weixin_45118180/article/details/116376126