Ambari安装大数据集群

绝地灬酷狼 2021-09-21 04:48 529阅读 0赞

# Ambari安装大数据集群 #

本文是基于CentOS 7.3系统环境，学习和使用大数据集群：

*  **CentOS-7.3-x86\_64-DVD-1611.iso**
 *  **ambari-2.6.0.0-centos7.tar.gz**
 *  **HDP-2.6.3.0-centos7-rpm.tar.gz**
 *  **HDP-UTILS-1.1.0.21-centos7.tar.gz**

--------------------

## 一、集群配置 ##

### （1）集群列表 ###

大数据集群由5台虚拟服务器组成，4核，6G内存，100G硬盘，集群信息列表如下

<table> 
 <thead> 
  <tr> 
   <th>hostname</th> 
   <th>CPU</th> 
   <th>内存</th> 
   <th>硬盘</th> 
   <th>IP地址</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>master</td> 
   <td>4核</td> 
   <td>6G</td> 
   <td>100G</td> 
   <td>192.168.0.201</td> 
  </tr> 
  <tr> 
   <td>slave01</td> 
   <td>4核</td> 
   <td>6G</td> 
   <td>100G</td> 
   <td>192.168.0.202</td> 
  </tr> 
  <tr> 
   <td>slave02</td> 
   <td>4核</td> 
   <td>6G</td> 
   <td>100G</td> 
   <td>192.168.0.203</td> 
  </tr> 
  <tr> 
   <td>slave03</td> 
   <td>4核</td> 
   <td>6G</td> 
   <td>100G</td> 
   <td>192.168.0.204</td> 
  </tr> 
  <tr> 
   <td>slave04</td> 
   <td>4核</td> 
   <td>6G</td> 
   <td>100G</td> 
   <td>192.168.0.205</td> 
  </tr> 
 </tbody> 
</table>

### （2）集群配置IP地址 ###

*  **登录每一台服务器，并进入IP地址配置目录**

cd /etc/sysconfig/network-scripts/

*  **使用vi命令，编辑网络配置文件ifcfg-eth0**

vi ifcfg-eth0

*  **修改IP地址**  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNTk5NDc5_size_16_color_FFFFFF_t_70]
 *  **重启网络服务**

systemctl restart network

### （2）集群配置hostname ###

#### 1. 修改主节点 ####

登录主节点服务器（192.168.0.201），并使用hostnamectl命令修改hostname

hostnamectl --static set-hostname master

#### 2. 修改从节点1 ####

登录从节点1服务器（192.168.0.202），并使用hostnamectl命令修改hostname

hostnamectl --static set-hostname slave01

#### 3. 修改从节点2 ####

登录从节点2服务器（192.168.0.203），并使用hostnamectl命令修改hostname

hostnamectl --static set-hostname slave02

#### 4. 修改从节点3 ####

登录从节点3服务器（192.168.0.204），并使用hostnamectl命令修改hostname

hostnamectl --static set-hostname slave03

#### 5. 修改从节点4 ####

登录从节点4服务器（192.168.0.205），并使用hostnamectl命令修改hostname

hostnamectl --static set-hostname slave04

#### 6. 重启所有的机器 ####

shutdown -r now

#### 7. 修改hosts配置文件 ####

*  **使用vi命令，编辑配置文件hosts**

vi /etc/hosts

编辑内容如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNTk5NDc5_size_16_color_FFFFFF_t_70 1]

#### 8. 测试所有机器的连通性 ####

*  **使用ping命令，测试连通性**

ping master
    ping slave01
    ping slave02
    ping slave03
    ping slave04

### （3）配置免密登录 ###

登录所有服务器，并执行以下命令，然后一路Enter

ssh-keygen -t rsa

登录slave01节点，将id\_rsa.pub文件拷贝到master节点，执行以下命令

scp /root/.ssh/id_rsa.pub master:/root/.ssh/id_rsa.pub-slave01

登录slave02节点，将id\_rsa.pub文件拷贝到master节点，执行以下命令

scp /root/.ssh/id_rsa.pub master:/root/.ssh/id_rsa.pub-slave02

登录slave03节点，将id\_rsa.pub文件拷贝到master节点，执行以下命令

scp /root/.ssh/id_rsa.pub master:/root/.ssh/id_rsa.pub-slave03

登录slave04节点，将id\_rsa.pub文件拷贝到master节点，执行以下命令

scp /root/.ssh/id_rsa.pub master:/root/.ssh/id_rsa.pub-slave04

登录master节点，将id\_rsa.pub文件追加到authorized\_keys，并将所有从节点发来的公钥也追加到authorized\_keys，执行以下命令

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
    cat /root/.ssh/id_rsa.pub-slave01 >> /root/.ssh/authorized_keys
    cat /root/.ssh/id_rsa.pub-slave02 >> /root/.ssh/authorized_keys
    cat /root/.ssh/id_rsa.pub-slave03 >> /root/.ssh/authorized_keys
    cat /root/.ssh/id_rsa.pub-slave04 >> /root/.ssh/authorized_keys

在master节点，修改authorized\_keys文件的权限，执行以下命令

chmod 600 /root/.ssh/authorized_keys

master节点将authorized\_keys文件分发至所有的从节点，执行以下命令

scp /root/.ssh/authorized_keys slave01:/root/.ssh/
    scp /root/.ssh/authorized_keys slave02:/root/.ssh/
    scp /root/.ssh/authorized_keys slave03:/root/.ssh/
    scp /root/.ssh/authorized_keys slave04:/root/.ssh/

### （4）软件环境配置 ###

#### 1. JDK1.8安装 ####

详细的安装教程参考[Linux下安装java编程环境][Linux_java]

#### 2. 安装createrepo用于制作yum源仓库 ####

以下是为了安装createrepo，而提前安装的依赖包，这些依赖包可以在CentOS-7.3-x86\_64-DVD-1611.iso/Packages里面找到：

libxml2-python-2.9.1-6.el7_2.3.x86_64.rpm
    deltarpm-3.6-3.el7.x86_64.rpm
    python-deltarpm-3.6-3.el7.x86_64.rpm
    createrepo-0.9.9-28.el7.noarch.rpm

#### 3. 安装httpd用于提供web服务 ####

以下是为了安装httpd，而提前安装的依赖包，这些依赖包可以在CentOS-7.3-x86\_64-DVD-1611.iso/Packages里面找到：

apr-util-1.5.2-6.el7.x86_64.rpm
    Apr-1.4.8-3.el7_4.1.x86_64.rpm
    mailcap-2.1.41-2.el7.noarch.rpm
    httpd-tools-2.4.6-88.el7.centos.x86_64.rpm
    httpd-2.4.6-88.el7.centos.x86_64.rpm

修改配置文件

cd /etc/httpd/conf/
    vi httpd.conf
    添加一行 ServerName localhost:80

修改防火墙，开放80端口

firewall-cmd --add-service=http --permanent
    firewall-cmd --add-port=80/tcp --permanent
    firewall-cmd --reload

启用httpd服务

systemctl enable httpd.service
    systemctl start httpd.service

重启服务器，并测试httpd服务，在浏览器访问192.168.0.201，如果成功访问，就说明httpd启用成功

#### 4. 安装yum源 ####

1.登录master节点，进入/var/www/html目录，新建centos7目录，将CentOS-7.3-x86\_64-DVD-1611.iso中的Packages目录，拷贝到centos7目录中。  
2.建立yum索引

createrepo /var/www/html/centos7/Packages

3.备份原始yum源配置文件

cd /etc/yum.repo.d
    mdkir bak
    mv *.repo ./bak

4.新建yum源配置文件

vi CentOS-Self，内容如下：
    [self]
    name=CentOS-Self
    baseurl=http://192.168.0.201/centos7/Packages
    gpgcheck=0
    enabled=1

5.清除yum源缓存

yum clean all

6.验证yum源是否生效

yum list

7.其他节点配置

scp /etc/yum.repo.d/CentOS-Self.repo slave01:/etc/yum.repo.d

将所有的非 CentOS-Self.repo放入bak目录

yum clean all
    yum list

#### 5. 安装ntp，并配置时间同步 ####

1.  所有节点下载ntp

yum install ntp

1.  服务端配置/etc/ntp.conf  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNTk5NDc5_size_16_color_FFFFFF_t_70 2]
2.  弃用chronyd服务

systemclt disable chronyd

1.  启用并开启ntpd服务

systemclt enable ntpd
    systemclt start ntpd

1.  客户端配置crontab

crontab –e  # 进入crontab进行编辑
    * */1 * * * /usr/sbin/ntpdate master   # 与vi类似，按i进行编辑，wq保存退出

1.  配置crontab开机自启动

systemclt enable crond

--------------------

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNTk5NDc5_size_16_color_FFFFFF_t_70]: /images/20210920/e3fbbc051dad4750b3b5e2d4c707276c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNTk5NDc5_size_16_color_FFFFFF_t_70 1]: /images/20210920/c052b4255c784933a180735249d002c1.png
[Linux_java]: https://blog.csdn.net/qq_32599479/article/details/101320838
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNTk5NDc5_size_16_color_FFFFFF_t_70 2]: /images/20210920/50313ecd445e4cfc9cff0b76b14c0762.png