hadoop完全分布式搭建

红太狼 2022-05-30 01:44 268阅读 0赞

hadoop的原理总结在写得中

[hadoop原理][hadoop]

hadoop的伪分布式搭建比较容易，官方文档写得很清晰。

这里的hadoop版本为2.6.5，官方文档地址为

[官方文档地址][Link 1]

完全分布式相对比较复杂，这里做一下总结

一、时间同步的处理

由于是分布式环境，所以服务器之间的时间同步是第一个要解决的问题。参见以下文章

[linux服务器时间同步][linux]

二、ssh免密码登录配置

每台服务器设置自己的免密码登录

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
    cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

接下来，将秘钥发给其他服务器，并追加到authorized\_keys文件中

scp ~/.ssh/id_dsa.pub 192.168.160.88:/tmp

cat /tmp/id_dsa.pub >> ~/.ssh/authorized_keys

这样该服务器就可以免密码登录其他服务器了

三、修改etc/hadoop/hadoop-env.sh文件

主要配置JAVA\_HOME和HADOOP\_PREFIX

顺便在/etc/profile文件中配置HADOOP的环境变量

export HADOOP_HOME=/usr/local/software/hadoop-2.6.5
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

四、修改core-site.xml文件

<configuration>
            <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://NameNodeIP:9000</value>
            </property>
            <property>
                    <name>hadoop.tmp.dir</name>
                    <value>/opt/hadoop</value>
            </property>
    </configuration>

五、修改hdfs-site.xml文件

<configuration>
            <property>
                    <name>dfs.replication</name>
                    <value>副本数</value>
            </property>
            <property>
                    <name>dfs.namenode.secondary.http-address</name>
                    <value>SecondaryNameNodeIP:50090</value>
            </property>
    </configuration>

如果不用hostname，而用ip的话，需要添加如下配置

<property>
                    <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
                    <value>false</value>
            </property>

6、新建masters文件

在其中指定SecondaryNameNode的hostname

7、修改slaves文件

在其中指定DataNode的hostname

8、格式化hdfs

hdfs namenode -format

9、启动集群

start-dfs.sh

![20180301222722792][]

10、访问NameNode和SecondaryNameNode的管理界面

访问NameNodeIP:50070地址，会出现如下管理界面

![20180301215512206][]

![20180301223349499][]

![20180301223442678][]

访问SecondaryNameNodeIP:50090，会出现如下管理界面

![20180301221211172][]

到此为止，hadoop的完全分布式搭建完成

[hadoop]: https://d.wps.cn/v/8qC2J
[Link 1]: http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/SingleCluster.html
[linux]: http://mp.blog.csdn.net/postedit/79413608
[20180301222722792]: /images/20220530/176973aa935d42a39ba3d18061d6a0ed.png
[20180301215512206]: /images/20220530/e1ba96d94afb4ce4a3754723428c0c06.png
[20180301223349499]: /images/20220530/1392c1c663e04ce59554bb1bfe36102e.png
[20180301223442678]: /images/20220530/d3587ee4515645b28c8170cd77c92b87.png
[20180301221211172]: /images/20220530/4b395a15b21744a1beda32e1b62c5390.png