0、linux运行环境

蔚落 2022-06-15 02:19 69阅读 0赞

1）操作系统版本

CentOS Linux release 7.2.1511 (Core)

2）机器说明

<table> 
 <tbody> 
  <tr> 
   <td> <p>IP地址</p> </td> 
   <td> <p>机器名（hostname）</p> </td> 
  </tr> 
  <tr> 
   <td> <p>172.24.5.173</p> </td> 
   <td> <p>bgs-5p173-wangwenting</p> </td> 
  </tr> 
  <tr> 
   <td> <p>172.24.5.174</p> </td> 
   <td> <p>bgs-5p174-wangwenting</p> </td> 
  </tr> 
  <tr> 
   <td> <p>172.24.5.175</p> </td> 
   <td> <p>bgs-5p175-wangwenting</p> </td> 
  </tr> 
 </tbody> 
</table>

在集群模式下，本文默认 172.24.5.173 为集群中的 master, 172.24.5.174 和 172.24.5.175 为集群中的 slave。

3）同步时间

在三个机器上分别运行 data 命令同步时间，精确到秒

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div title="Hint: double-click to select code"> 
     <div> 
      <code>xx:xx:xx 表示当前你要设置的时间格式和具体时间。</code> 
     </div> 
     <div> 
      <code>[root</code> 
      <code>@bgs</code> 
      <code>-5p173-wangwenting ~]# data -s xx:xx:xx</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

4）建立账号

在三个机器上都建立hadoop账户，密码和账号一样

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div title="Hint: double-click to select code"> 
     <div> 
      <code>[root</code> 
      <code>@bgs</code> 
      <code>-5p173-wangwenting ~]# useradd -d /opt/hadoop hadoop</code> 
     </div> 
     <div> 
      <code>[root</code> 
      <code>@bgs</code> 
      <code>-5p173-wangwenting ~]# passwd hadoop</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

给 hadoop 用户分别加上 sudo 权限

\# vim /etc/sudoers

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div title="Hint: double-click to select code"> 
     <div> 
      <code>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ALL=(ALL) ALL</code> 
     </div> 
     <div> 
      <code>hadoop&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ALL=(ALL) ALL</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

5）建立账户后，需要对 hadoop 账户实现无密码 ssh 登陆的功能 。

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div title="Hint: double-click to select code"> 
     <div> 
      <code>[root</code> 
      <code>@bgs</code> 
      <code>-5p173-wangwenting ~]$ su hadoop</code> 
     </div> 
     <div> 
      <code>生成密钥,一直按enter键：</code> 
     </div> 
     <div> 
      <code>[hadoop</code> 
      <code>@bgs</code> 
      <code>-5p173-wangwenting ~]$ ssh-keygen -t rsa</code> 
     </div> 
     <div> 
      <code>将秘钥发送到其他机器上：</code> 
     </div> 
     <div> 
      <code>[hadoop</code> 
      <code>@bgs</code> 
      <code>-5p173-wangwenting ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop</code> 
      <code>@bgs</code> 
      <code>-5p173-wangwenting</code> 
     </div> 
     <div> 
      <code>[hadoop</code> 
      <code>@bgs</code> 
      <code>-5p173-wangwenting ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop</code> 
      <code>@bgs</code> 
      <code>-5p174-wangwenting</code> 
     </div> 
     <div> 
      <code>[hadoop</code> 
      <code>@bgs</code> 
      <code>-5p173-wangwenting ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop</code> 
      <code>@bgs</code> 
      <code>-5p175-wangwenting</code> 
     </div> 
     <div> 
      <code>验证是否免秘钥登录成功：</code> 
     </div> 
     <div> 
      <code>[hadoop</code> 
      <code>@bgs</code> 
      <code>-5p173-wangwenting ~]$ ssh&nbsp;</code> 
      <code>172.24</code> 
      <code>.</code> 
      <code>5.173</code> 
     </div> 
     <div> 
      <code>[hadoop</code> 
      <code>@bgs</code> 
      <code>-5p173-wangwenting ~]$ ssh&nbsp;</code> 
      <code>172.24</code> 
      <code>.</code> 
      <code>5.174</code> 
     </div> 
     <div> 
      <code>[hadoop</code> 
      <code>@bgs</code> 
      <code>-5p173-wangwenting ~]$ ssh&nbsp;</code> 
      <code>172.24</code> 
      <code>.</code> 
      <code>5.175</code> 
     </div> 
     <div> 
      <code>如果能登录且不用输密码，则</code> 
      <code>172.24</code> 
      <code>.</code> 
      <code>5.173</code> 
      <code>可以免密码登录另外两台机器。</code> 
     </div> 
     <div> 
      <code>&nbsp;</code>&nbsp; 
     </div> 
     <div> 
      <code>同理要想</code> 
      <code>172.24</code> 
      <code>.</code> 
      <code>5.174</code> 
      <code>可以免密码登录另外两台机器需要执行以下操作：</code> 
     </div> 
     <div> 
      <code>[hadoop</code> 
      <code>@bgs</code> 
      <code>-5p174-wangwenting ~]$ ssh-keygen -t rsa</code> 
     </div> 
     <div> 
      <code>将秘钥发送到其他机器上：</code> 
     </div> 
     <div> 
      <code>[hadoop</code> 
      <code>@bgs</code> 
      <code>-5p174-wangwenting ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop</code> 
      <code>@bgs</code> 
      <code>-5p173-wangwenting</code> 
     </div> 
     <div> 
      <code>[hadoop</code> 
      <code>@bgs</code> 
      <code>-5p174-wangwenting ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop</code> 
      <code>@bgs</code> 
      <code>-5p174-wangwenting</code> 
     </div> 
     <div> 
      <code>[hadoop</code> 
      <code>@bgs</code> 
      <code>-5p174-wangwenting ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop</code> 
      <code>@bgs</code> 
      <code>-5p175-wangwenting</code> 
     </div> 
     <div> 
      <code>验证是否免秘钥登录成功：</code> 
     </div> 
     <div> 
      <code>[hadoop</code> 
      <code>@bgs</code> 
      <code>-5p174-wangwenting ~]$ ssh&nbsp;</code> 
      <code>172.24</code> 
      <code>.</code> 
      <code>5.173</code> 
     </div> 
     <div> 
      <code>[hadoop</code> 
      <code>@bgs</code> 
      <code>-5p174-wangwenting ~]$ ssh&nbsp;</code> 
      <code>172.24</code> 
      <code>.</code> 
      <code>5.174</code> 
     </div> 
     <div> 
      <code>[hadoop</code> 
      <code>@bgs</code> 
      <code>-5p174-wangwenting ~]$ ssh&nbsp;</code> 
      <code>172.24</code> 
      <code>.</code> 
      <code>5.175</code> 
     </div> 
     <div> 
      <code>如果能登录且不用输密码，则</code> 
      <code>172.24</code> 
      <code>.</code> 
      <code>5.174</code> 
      <code>可以免密码登录另外两台机器。</code> 
     </div> 
     <div> 
      <code>&nbsp;</code>&nbsp; 
     </div> 
     <div> 
      <code>同理要想</code> 
      <code>172.24</code> 
      <code>.</code> 
      <code>5.175</code> 
      <code>可以免密码登录另外两台机器需要执行以下操作：</code> 
     </div> 
     <div> 
      <code>[hadoop</code> 
      <code>@bgs</code> 
      <code>-5p175-wangwenting ~]$ ssh-keygen -t rsa</code> 
     </div> 
     <div> 
      <code>将秘钥发送到其他机器上：</code> 
     </div> 
     <div> 
      <code>[hadoop</code> 
      <code>@bgs</code> 
      <code>-5p175-wangwenting ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop</code> 
      <code>@bgs</code> 
      <code>-5p173-wangwenting</code> 
     </div> 
     <div> 
      <code>[hadoop</code> 
      <code>@bgs</code> 
      <code>-5p175-wangwenting ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop</code> 
      <code>@bgs</code> 
      <code>-5p174-wangwenting</code> 
     </div> 
     <div> 
      <code>[hadoop</code> 
      <code>@bgs</code> 
      <code>-5p175-wangwenting ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop</code> 
      <code>@bgs</code> 
      <code>-5p175-wangwenting</code> 
     </div> 
     <div> 
      <code>验证是否免秘钥登录成功：</code> 
     </div> 
     <div> 
      <code>[hadoop</code> 
      <code>@bgs</code> 
      <code>-5p175-wangwenting ~]$ ssh&nbsp;</code> 
      <code>172.24</code> 
      <code>.</code> 
      <code>5.173</code> 
     </div> 
     <div> 
      <code>[hadoop</code> 
      <code>@bgs</code> 
      <code>-5p175-wangwenting ~]$ ssh&nbsp;</code> 
      <code>172.24</code> 
      <code>.</code> 
      <code>5.174</code> 
     </div> 
     <div> 
      <code>[hadoop</code> 
      <code>@bgs</code> 
      <code>-5p175-wangwenting ~]$ ssh&nbsp;</code> 
      <code>172.24</code> 
      <code>.</code> 
      <code>5.175</code> 
     </div> 
     <div> 
      <code>如果能登录且不用输密码，则</code> 
      <code>172.24</code> 
      <code>.</code> 
      <code>5.175</code> 
      <code>可以免密码登录另外两台机器。</code> 
     </div> 
     <div> 
      <code>&nbsp;</code>&nbsp; 
     </div> 
     <div> 
      <code>最终：三台机器之间可以免密码互相登录。</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>