HDFS3.x集群配置

「爱情、让人受尽委屈。」 2021-09-28 23:58 337阅读 0赞

### 1、准备工作 ###

1.  准备3太centos机器并设置主机名  
    修改命令：`vim /etc/hostname`  
    一台作为Namenode，命名为master，  
    两台作为dataNode，命名为node-1, node-2
2.  设置hosts  
    修改命令：`vim /etc/hosts`
    
        192.168.0.6 master
        192.168.0.17 node-1
        192.168.0.19 node-2
3.  3台机器都创建hadoop用户并设置密码
    
        useradd hadoop
        passwd hadoop
4.  免密登陆自身（3台）
    
        su – hadoop
        ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
        cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
        chmod 0600 ~/.ssh/authorized_keys
        #测试
        ssh localhost(首次需输入yes)
5.  设置hadoop账户的ssh信任关系（仅master）
    
        #在master机器上操作
        ssh-copy-id -i .ssh/id_rsa.pub  hadoop@192.168.0.6	
        ssh-copy-id -i .ssh/id_rsa.pub  hadoop@192.168.0.17
        ssh-copy-id -i .ssh/id_rsa.pub  hadoop@192.168.0.19
        
        #测试一下,都能成功登录就行
        ssh hadoop@master
        ssh hadoop@node-1
        ssh hadoop@node-2
6.  配置jdk  
    [配置方法][Link 1]
7.  非生产环境建议关闭防火墙：  
    [firewall常用操作方法][firewall]

### 2、安装 ###

1.  下载hadoop  
    [下载地址][Link 2]
2.  在3太机器上创建相同的目录路径, name目录只存放在master上，且权限为755，否则会导致后面的格式化失败
    
        mkdir -p  /hadoop/install
        mkdir -p  /hadoop/name
        mkdir -p  /hadoop/data1
        mkdir -p  /hadoop/data2
        mkdir -p  /hadoop/tmp
    
    1.  解压安装包到/hadoop/install下
    
        tar xzvf hadoop-3.1.2.tar.gz -C /hadoop/install/
3.  修改属主为hadoop
    
        chown -R hadoop.hadoop /hadoop

### 3、配置（3台机器都需配置） ###

1.  修改hadoop-env.sh文件，指定jdk安装路径。  
    `vim /hadoop/install/hadoop-3.1.2/etc/hadoop/hadoop-env.sh`
    
        export JAVA_HOME=/usr/local/jdk1.8.0_181
        export HDFS_NAMENODE_USER="hadoop"
        export HDFS_DATANODE_USER="hadoop"
        export HDFS_SECONDARYNAMENODE_USER="hadoop"
        export YARN_RESOURCEMANAGER_USER="hadoop"
        export YARN_NODEMANAGER_USER="hadoop"
2.  修改core-site.xml文件，指定hadoop默认的文件系统为HDFS，并同时指定namenode为master：  
    `vim /hadoop/install/hadoop-3.1.2/etc/hadoop/core-site.xml`
    
        <configuration>
          <property>
            <name>fs.defaultFS</name>
            <value>hdfs://master:9000</value>
          </property>
        </configuration>
3.  修改hdfs-site.xml文件：  
    `vim /hadoop/install/hadoop-3.1.2/etc/hadoop/hdfs-site.xml`
    
        <configuration>
          <property>
            <name>dfs.namenode.name.dir</name>
            <value>/hadoop/name/</value>
          </property>
          <property>
            <name>dfs.blocksize</name>
            <value>268435456</value>
          </property>
        
          <property>
            <name>dfs.namenode.handler.count</name>
            <value>100</value>
          </property>
          <property>
            <name>dfs.datanode.data.dir</name>
            <value>/hadoop/data1/,/hadoop/data2/</value>
          </property>
          
          <property>
            <name>dfs.replication</name>
            <value>1</value>
          </property>
        </configuration>
4.  编辑workers文件，批量启动hdfs时指定需要启动的datanode：  
    `vim /hadoop/install/hadoop-3.1.2/etc/hadoop/workers`
    
        node-1
        node-2
5.  修改yarn-site.xml文件：  
    `vim /hadoop/install/hadoop-3.1.2/etc/hadoop/yarn-site.xml`
    
        <configuration>
        
        
        
        
        
        
          <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>master</value>
          </property>
          <property>
            <name>yarn.resourcemanager.webapp.address</name>
            <value>master:8088</value>
          </property>
        
          <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
          </property>
        
        </configuration>
6.  修改mapred-site.xml文件：  
    `vim /hadoop/install/hadoop-3.1.2/etc/hadoop/mapred-site.xml`
    
        <configuration>
          
          <property>
               <name>mapreduce.framework.name</name>
               <value>yarn</value>
           </property>
        </configuration>

### 3、启动 ###

1.  初始化HDFS \[只有首次部署才可使用\]【谨慎操作，只在msater上操作】  
    在master机器上，初始化namenode的元数据目录，进入hadoop的bin目录下，执行命令：
    
        ./hadoop namenode -format
    
    有以下提示代表成功  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1cGVybG92ZXJf_size_16_color_FFFFFF_t_70]
2.  开启 【只在master上操作】  
    进入sbin目录下，执行以下命令：
    
        ./start-dfs.sh
        ./start-yarn.sh
3.  查看装在 【3台机器分别执行`jps`命令】  
    master:  
    ![在这里插入图片描述][20190613165610341.png]  
    node-1  
    ![在这里插入图片描述][20190613165635750.png]  
    node-2  
    ![在这里插入图片描述][20190613165646219.png]
4.  web界面访问：

http://192.168.0.6:9870/
     http://192.168.0.6:8088/

**划重点：hadoop3.X的webUI已经改到端口 localhost:9870上面，而不是原来的50070，网上大多数的教程都是2.X的,当然不行！！**

[参考地址][Link 3]

Java项目使用方法：[Spring Boot项目中使用HDFS3.x  
][Spring Boot_HDFS3.x]

[Link 1]: https://blog.csdn.net/superlover_/article/details/91492512
[firewall]: https://blog.csdn.net/superlover_/article/details/80110294
[Link 2]: https://hadoop.apache.org/releases.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1cGVybG92ZXJf_size_16_color_FFFFFF_t_70]: /images/20210923/5e0267536eb34a4e946680d844e053d5.png
[20190613165610341.png]: /images/20210923/a3318c0c2721421298f5f67e2fb24f94.png
[20190613165635750.png]: /images/20210923/2a16b0980a0c411d884685b0c076350c.png
[20190613165646219.png]: /images/20210923/2652aa0f3fe44ba8a5fe5afac3b62bf3.png
[Link 3]: https://hadoop.apache.org/docs/r3.1.2/hadoop-project-dist/hadoop-common/ClusterSetup.html
[Spring Boot_HDFS3.x]: https://blog.csdn.net/superlover_/article/details/91957713