Kerberos (三) --------- 安全模式下启动 Hadoop 集群

灰太狼 2024-04-01 13:39 83阅读 0赞

#### 目录 ####

*  一、修改特定本地路径权限
 *  二、启动 HDFS
 *  三、修改 HDFS 特定路径访问权限
 *  四、启动 Yarn
 *  五、启动 HistoryServer

--------------------

## 一、修改特定本地路径权限 ##

<table> 
 <thead> 
  <tr> 
   <th>本地</th> 
   <th>路径</th> 
   <th>所属</th> 
   <th>权限</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>local</td> 
   <td>$HADOOP_LOG_DIR</td> 
   <td>hdfs:hadoop</td> 
   <td>drwxrwxr-x</td> 
  </tr> 
  <tr> 
   <td>local</td> 
   <td>dfs.namenode.name.dir</td> 
   <td>hdfs:hadoop</td> 
   <td>drwx------</td> 
  </tr> 
  <tr> 
   <td>local</td> 
   <td>dfs.datanode.data.dir</td> 
   <td>hdfs:hadoop</td> 
   <td>drwx------</td> 
  </tr> 
  <tr> 
   <td>local</td> 
   <td>dfs.namenode.checkpoint.dir</td> 
   <td>hdfs:hadoop</td> 
   <td>drwx------</td> 
  </tr> 
  <tr> 
   <td>local</td> 
   <td>yarn.nodemanager.local-dirs</td> 
   <td>yarn:hadoop</td> 
   <td>drwxrwxr-x</td> 
  </tr> 
  <tr> 
   <td>local</td> 
   <td>yarn.nodemanager.log-dirs</td> 
   <td>yarn:hadoop</td> 
   <td>drwxrwxr-x</td> 
  </tr> 
 </tbody> 
</table>

**A、$HADOOP\_LOG\_DIR (所有节点)**

该变量位于 `hadoop-env.sh` 文件，默认值为 `${HADOOP_HOME}/logs`

[root@hadoop102 ~]# chown hdfs:hadoop /opt/module/hadoop-3.1.3/logs/
    [root@hadoop102 ~]# chmod 775 /opt/module/hadoop-3.1.3/logs/
    [root@hadoop103 ~]# chown hdfs:hadoop /opt/module/hadoop-3.1.3/logs/
    [root@hadoop103 ~]# chmod 775 /opt/module/hadoop-3.1.3/logs/
    [root@hadoop104 ~]# chown hdfs:hadoop /opt/module/hadoop-3.1.3/logs/
    [root@hadoop104 ~]# chmod 775 /opt/module/hadoop-3.1.3/logs/

**B、dfs.namenode.name.dir (NameNode节点)**

该参数位于 hdfs-site.xml 文件，默认值为 `file://${hadoop.tmp.dir}/dfs/name`

[root@hadoop102 ~]# chown -R hdfs:hadoop /opt/module/hadoop-3.1.3/data/dfs/name/
    [root@hadoop102 ~]# chmod 700 /opt/module/hadoop-3.1.3/data/dfs/name/

**C、dfs.datanode.data.dir (DataNode节点)**

该参数为于 hdfs-site.xml 文件，默认值为 `file://${hadoop.tmp.dir}/dfs/data`

[root@hadoop102 ~]# chown -R hdfs:hadoop /opt/module/hadoop-3.1.3/data/dfs/data/
    [root@hadoop102 ~]# chmod 700 /opt/module/hadoop-3.1.3/data/dfs/data/
    
    
    [root@hadoop103 ~]# chown -R hdfs:hadoop /opt/module/hadoop-3.1.3/data/dfs/data/
    [root@hadoop103 ~]# chmod 700 /opt/module/hadoop-3.1.3/data/dfs/data/
    
    [root@hadoop104 ~]# chown -R hdfs:hadoop /opt/module/hadoop-3.1.3/data/dfs/data/
    [root@hadoop104 ~]# chmod 700 /opt/module/hadoop-3.1.3/data/dfs/data/

**D、dfs.namenode.checkpoint.dir (SecondaryNameNode节点)**

该参数位于 hdfs-site.xml 文件，默认值为`file://${hadoop.tmp.dir}/dfs/namesecondary`

[root@hadoop104 ~]# chown -R hdfs:hadoop /opt/module/hadoop-3.1.3/data/dfs/namesecondary/
    [root@hadoop104 ~]# chmod 700 /opt/module/hadoop-3.1.3/data/dfs/namesecondary/

**E、yarn.nodemanager.local-dirs (NodeManager节点)**

该参数位于yarn-site.xml文件，默认值为`file://${hadoop.tmp.dir}/nm-local-dir`

[root@hadoop102 ~]# chown -R yarn:hadoop /opt/module/hadoop-3.1.3/data/nm-local-dir/
    [root@hadoop102 ~]# chmod -R 775 /opt/module/hadoop-3.1.3/data/nm-local-dir/
    
    
    [root@hadoop103 ~]# chown -R yarn:hadoop /opt/module/hadoop-3.1.3/data/nm-local-dir/
    [root@hadoop103 ~]# chmod -R 775 /opt/module/hadoop-3.1.3/data/nm-local-dir/
    
    [root@hadoop104 ~]# chown -R yarn:hadoop /opt/module/hadoop-3.1.3/data/nm-local-dir/
    [root@hadoop104 ~]# chmod -R 775 /opt/module/hadoop-3.1.3/data/nm-local-dir/

**F、yarn.nodemanager.log-dirs (NodeManager节点)**

该参数位于 yarn-site.xml 文件，默认值为 `$HADOOP_LOG_DIR/userlogs`

[root@hadoop102 ~]# chown yarn:hadoop /opt/module/hadoop-3.1.3/logs/userlogs/
    [root@hadoop102 ~]# chmod 775 /opt/module/hadoop-3.1.3/logs/userlogs/
    
    [root@hadoop103 ~]# chown yarn:hadoop /opt/module/hadoop-3.1.3/logs/userlogs/
    [root@hadoop103 ~]# chmod 775 /opt/module/hadoop-3.1.3/logs/userlogs/
    
    [root@hadoop104 ~]# chown yarn:hadoop /opt/module/hadoop-3.1.3/logs/userlogs/
    [root@hadoop104 ~]# chmod 775 /opt/module/hadoop-3.1.3/logs/userlogs/

## 二、启动 HDFS ##

需要注意的是，启动不同服务时需要使用对应的用户

**A、单点启动**

（1）启动NameNode

[root@hadoop102 ~]# sudo -i -u hdfs hdfs --daemon start namenode

（2）启动DataNode

[root@hadoop102 ~]# sudo -i -u hdfs hdfs --daemon start datanode
    [root@hadoop103 ~]# sudo -i -u hdfs hdfs --daemon start datanode
    [root@hadoop104 ~]# sudo -i -u hdfs hdfs --daemon start datanode

（3）启动SecondaryNameNode

[root@hadoop104 ~]# sudo -i -u hdfs hdfs --daemon start secondarynamenode

说明：

*  \-i：重新加载环境变量
 *  \-u：以特定用户的身份执行后续命令

**B、群起**

（1）在主节点 (hadoop102) 配置hdfs用户到所有节点的免密登录。  
（2）修改主节点 (hadoop102) 节点的`$HADOOP_HOME/sbin/start-dfs.sh`脚本，在顶部增加以下环境变量。

[root@hadoop102 ~]# vim $HADOOP_HOME/sbin/start-dfs.sh
    在顶部增加如下内容
    HDFS_DATANODE_USER=hdfs
    HDFS_NAMENODE_USER=hdfs
    HDFS_SECONDARYNAMENODE_USER=hdfs

> 注：`$HADOOP_HOME/sbin/stop-dfs.sh`也需在顶部增加上述环境变量才可使用。

（3）以 root 用户执行群起脚本，即可启动 HDFS 集群。

[root@hadoop102 ~]# start-dfs.sh

**C、查看HFDS web页面**

访问地址为`https://hadoop102:9871`

## 三、修改 HDFS 特定路径访问权限 ##

<table> 
 <thead> 
  <tr> 
   <th>HDFS</th> 
   <th>路径</th> 
   <th>所属</th> 
   <th>权限</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>hdfs</td> 
   <td>/</td> 
   <td>hdfs:hadoop</td> 
   <td>drwxr-xr-x</td> 
  </tr> 
  <tr> 
   <td>hdfs</td> 
   <td>/tmp</td> 
   <td>hdfs:hadoop</td> 
   <td>drwxrwxrwxt</td> 
  </tr> 
  <tr> 
   <td>hdfs</td> 
   <td>/user</td> 
   <td>hdfs:hadoop</td> 
   <td>drwxrwxr-x</td> 
  </tr> 
  <tr> 
   <td>hdfs</td> 
   <td>yarn.nodemanager.remote-app-log-dir</td> 
   <td>yarn:hadoop</td> 
   <td>drwxrwxrwxt</td> 
  </tr> 
  <tr> 
   <td>hdfs</td> 
   <td>mapreduce.jobhistory.intermediate-done-dir</td> 
   <td>mapred:hadoop</td> 
   <td>drwxrwxrwxt</td> 
  </tr> 
  <tr> 
   <td>hdfs</td> 
   <td>mapreduce.jobhistory.done-dir</td> 
   <td>mapred:hadoop</td> 
   <td>drwxrwx—</td> 
  </tr> 
 </tbody> 
</table>

说明：

若上述路径不存在，需手动创建

**A、创建 hdfs/hadoop 主体，执行以下命令并按照提示输入密码**

[root@hadoop102 ~]# kadmin.local -q "addprinc hdfs/hadoop"

**B、认证 hdfs/hadoop 主体，执行以下命令并按照提示输入密码**

[root@hadoop102 ~]# kinit hdfs/hadoop

**C、按照上述要求修改指定路径的所有者和权限**

（1）修改/、/tmp、/user路径

[root@hadoop102 ~]# hadoop fs -chown hdfs:hadoop / /tmp /user
    [root@hadoop102 ~]# hadoop fs -chmod 755 /
    [root@hadoop102 ~]# hadoop fs -chmod 1777 /tmp
    [root@hadoop102 ~]# hadoop fs -chmod 775 /user

（2）参数 yarn.nodemanager.remote-app-log-dir 位于 yarn-site.xml 文件，默认值 /tmp/logs

[root@hadoop102 ~]# hadoop fs -chown yarn:hadoop /tmp/logs
    [root@hadoop102 ~]# hadoop fs -chmod 1777 /tmp/logs

（3）参数 mapreduce.jobhistory.intermediate-done-dir 位于 mapred-site.xm l文件，默认值为 /tmp/hadoop-yarn/staging/history/done\_intermediate，需保证该路径的所有上级目录(除/tmp) 的所有者均为mapred，所属组为hadoop，权限为770

[root@hadoop102 ~]# hadoop fs -chown -R mapred:hadoop /tmp/hadoop-yarn/staging/history/done_intermediate
    [root@hadoop102 ~]# hadoop fs -chmod -R 1777 /tmp/hadoop-yarn/staging/history/done_intermediate
    
    [root@hadoop102 ~]# hadoop fs -chown mapred:hadoop /tmp/hadoop-yarn/staging/history/
    [root@hadoop102 ~]# hadoop fs -chown mapred:hadoop /tmp/hadoop-yarn/staging/
    [root@hadoop102 ~]# hadoop fs -chown mapred:hadoop /tmp/hadoop-yarn/
    
    [root@hadoop102 ~]# hadoop fs -chmod 770 /tmp/hadoop-yarn/staging/history/
    [root@hadoop102 ~]# hadoop fs -chmod 770 /tmp/hadoop-yarn/staging/
    [root@hadoop102 ~]# hadoop fs -chmod 770 /tmp/hadoop-yarn/

（4）参数 mapreduce.jobhistory.done-dir 位于 mapred-site.xml 文件，默认值为 `/tmp/hadoop-yarn/staging/history/done` ，需保证该路径的所有上级目录 (除/tmp) 的所有者均为 mapred，所属组为 hadoop，权限为 770

[root@hadoop102 ~]# hadoop fs -chown -R mapred:hadoop /tmp/hadoop-yarn/staging/history/done
    [root@hadoop102 ~]# hadoop fs -chmod -R 750 /tmp/hadoop-yarn/staging/history/done
    
    
    [root@hadoop102 ~]# hadoop fs -chown mapred:hadoop /tmp/hadoop-yarn/staging/history/
    [root@hadoop102 ~]# hadoop fs -chown mapred:hadoop /tmp/hadoop-yarn/staging/
    [root@hadoop102 ~]# hadoop fs -chown mapred:hadoop /tmp/hadoop-yarn/
    
    [root@hadoop102 ~]# hadoop fs -chmod 770 /tmp/hadoop-yarn/staging/history/
    [root@hadoop102 ~]# hadoop fs -chmod 770 /tmp/hadoop-yarn/staging/
    [root@hadoop102 ~]# hadoop fs -chmod 770 /tmp/hadoop-yarn/

## 四、启动 Yarn ##

**A、单点启动**

启动ResourceManager

[root@hadoop103 ~]# sudo -i -u yarn yarn --daemon start resourcemanager
    启动NodeManager
    [root@hadoop102 ~]# sudo -i -u yarn yarn --daemon start nodemanager
    [root@hadoop103 ~]# sudo -i -u yarn yarn --daemon start nodemanager
    [root@hadoop104 ~]# sudo -i -u yarn yarn --daemon start nodemanager

**B、群起**

(1) 在Yarn主节点 (hadoop103) 配置 yarn 用户到所有节点的免密登录。  
(2) 修改主节点 (hadoop103) 的 `$HADOOP_HOME/sbin/start-yarn.sh`，在顶部增加以下环境变量。

[root@hadoop103 ~]# vim $HADOOP_HOME/sbin/start-yarn.sh

在顶部增加如下内容

YARN_RESOURCEMANAGER_USER=yarn
    YARN_NODEMANAGER_USER=yarn

> 注：stop-yarn.sh也需在顶部增加上述环境变量才可使用。

(3) 以 root 用户执行 `$HADOOP_HOME/sbin/start-yarn.sh`脚本即可启动yarn集群。

[root@hadoop103 ~]# start-yarn.sh

**C、访问 Yarn web 页面**

访问地址为 http://hadoop103:8088

## 五、启动 HistoryServer ##

**A、启动历史服务器**