Hadoop配置

偏执的太偏执、 2022-05-22 10:34 182阅读 0赞

**配置hadoop之前做好准备工作**

1.修改主机名称，我这里创建了三个虚拟主机，分别命名node-1，node-2，node-3，进入network文件删掉里面的内容直接写上主机名就可以了

vi /etc/sysconfig/network

2.映射IP和主机名，之后reboot重启主机

[root@node-1 redis-cluster]# vim /etc/hosts
    192.168.0.1 node-1
    192.168.0.2 node-2
    192.168.0.3 node-3

3.检测防火墙（要关闭防火墙），不同系统的防火墙关闭方式不一样，以下做个参考即可

1.service iptables stop  关闭
    2.chkconfig iptables off  强制关闭  除非手动开启不然不会自动开启
    3.chkconfig iptanles  查看
    4.service  iptables status 查看防火墙状态

4.ssh免密码登录

输入命令：ssh-keygen -t rsa  然后点击四个回车键，如下图所示：

![70][]

然后通过ssh-copy-id  对应主机IP，之后通过“ssh 主机名/IP”  便可以不输入密码即可登录相应的主机系统

![70 1][]

**开始配置Hadoop相关文件**

上传hadoop安装包解压后进入hadoop-2.7.6/etc/hadoop目录下  
以下所有的<property></property>都是写在各自相应配置文件末尾的<configuration>标签里面  
  
**第一个 hadoop-env.sh**

vi hadoop-env.sh
    export JAVA_HOME=/usr/java/jdk1.8.0_171   #JAVA_HOME写上自己jdk 的安装路径

**第二个 ：core-site.xml**

vi core-site.xml

<property>
    	<name>fs.defaultFS</name>
    	<value>hdfs://node-1:9000</value>
    </property>
    
    <property>
    	<name>hadoop.tmp.dir</name>
    	<value>/export/data/hddata</value>
    </property>

**第三个： hdfs-site.xml**

vi hdfs-site.xml

<property>
    	<name>dfs.replication</name>
    	<value>2</value>
    </property>
    
    <property>
    	<name>dfs.namenode.secondary.http-address</name>
    	<value>node-2:50090</value>
    </property>

**第四个： mapred-site.xml**

mv mapred-site.xml.template mapred-site.xml
    vi mapred-site.xml
    
    
    <property>
    	<name>mapreduce.framework.name</name>
    	<value>yarn</value>
    </property>

**第五个：yarn-site.xml**

vi yarn-site.xml

<property>
    	<name>yarn.resourcemanager.hostname</name>
    	<value>node-1</value>
    </property>
    
    
    
    <property>
    	<name>yarn.nodemanager.aux-services</name>
    	<value>mapreduce_shuffle</value>
    </property>

**第六个：slaves文件，里面写上从节点所在的主机名字**

vi slaves
    node-1
    node-2
    node-3

**第七个：将Hadoop添加到环境变量**

vi /etc/profile
    export HADOOP_HOME=/export/server/hadoop-2.7.6
    export PATH=$HADOOP_HOME/bin:$PATH

然后将hadoop安装包远程发送给各个副计算机

scp -r /export/server/hadoop-2.7.6/ root@node-2:/export/server/
    scp -r /export/server/hadoop-2.7.6/ root@node-3:/export/server/

把配置好的环境变量也要远程发送给各个副计算机

scp -r /etc/profile root@node-2:/etc/
    scp -r /etc/profile root@node-3:/etc/

然后试所有的计算机环境变量生效

source /etc/profile

关于hadoop的配置说明  
在hadoop官网，左下角点击Documentation点击相应的版本进去，拉到最左下角有\*\*\*-default.xml  
\*\*\*-default.xml是默认的配置，如果用户没有修改这些选项将会生效  
\*\*\*-site.xml 是用户自定义的配置  
site的配置选项优先级大于default的，如果site里面有就会覆盖default里面的

[70]: /images/20220522/ed643c2d7fc645e8b99a389848c64ea2.png
[70 1]: /images/20220522/8c3cbc161cce4e91975fa07737fa155c.png