Centos7.2安装Ambari2.5.2+HDP2.6.2搭建Hadoop集群

太过爱你忘了你带给我的痛 2022-05-17 11:59 220阅读 0赞

## ambari搭建步骤 ##

## 一、 环境准备 ##

### 1、主机准备 ###

*  192.168.1.61 knowyou-master.knowyou.com                   
 *  192.168.1.62 knowyou-01.knowyou.com                       
 *  192.168.1.71 knowyou-02.knowyou.com                        
 *  192.168.1.72 knowyou-03.knowyou.com

准备预定的ip、域名，

### 2、安装虚拟机 ###

*   安装虚拟机，拷贝虚拟机，重新生成MAC地址，
 *     配置ip地址 vi /etc/sysconfig/network-scripts/ifcfg-eno16777736 
 *     重启网卡 Service network restart

### 3、增加静态路由 ###

route add default gw 192.168.1.1  远程连接

### 4、配置linux网络的DNS ###

*      vi /etc/resolv.conf  添加一下内容
 *      DNS=180.168.255.118
 *      nameserver 8.8.8.8，ping www.baidu.com 测试是否能连接外网

### 5、修改hosts和hostname主机名，重启虚拟机 ###

*      安装tmux终端复用窗口 ：yum install -y tmux
 *      进入tmux会话模式
 *  ambari在安装时需要配置全域名，所以需要检查DNS。为了减轻DNS的负担, 建议在节点里用 Name Service Caching Daemon (NSCD)
 *  cat /etc/hosts

192.168.1.61 knowyou-master.knowyou.com

192.168.1.62 knowyou-01.knowyou.com

192.168.1.71 knowyou-02.knowyou.com

192.168.1.72 knowyou-03.knowyou.com

### 6、配置FQDN，如下以主节点为例 ###

*  vim /etc/sysconfig/network
 *  NETWORKING=yes
 *  HOSTNAME=knowyou-master.knowyou.com

其他节点同上

### 7、关闭防火墙和SELinux ###

*   systemctl disable firewalld
 *   systemctl stop firewalld

临时关闭，不用重启机器：

*  setenforce 0

修改配置文件让机器重启也生效：

*  cat /etc/sysconfig/selinux
 *  SELINUX=disabled

### 8、安装ssh免密登录 ###

>> 在主节点上输入 ssh-keygen -t dsa -P '' -f ~/.ssh/id\_dsa 创建一个无密码的公钥  
    >> 输入 cat ~/.ssh/id\_dsa.pub >> ~/.ssh/authorized\_keys 将公钥id\_dsa.pub添加进keys  
    >> 从节点上执行 mkdir ~/.ssh   
    >> 主节点上输入 scp ~/.ssh/authorized\_keys root@node1:~/.ssh/authorized\_keys 将主节点的公钥信息导入node1节点，导入时要输入一下node1机器的登陆密码  
    >> 所有机器上分别执行 chmod 600 ~/.ssh/authorized\_keys 赋予密钥文件权限

## 二、搭建数据库（在主机上部署） ##

### 1、卸载系统自带的jdk和MariaDB数据库 ###

>> 查找安装的jdk：rpm -qa|grep -i jdk  
 >> 强制性卸载jdk：rpm -ev java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86\_64 java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86\_64 ldapjdk-4.18-14.el7.noarch java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86\_64 java-1.7.0-openjdk-devel-1.7.0.91-2.6.2.3.el7.x86\_64 java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86\_64 --nodeps   
   >> 查找安装的jdk：rpm -qa|grep -i MariaDB  
   >> 强制性卸载MariaDB: rpm -ev mariadb-libs-5.5.44-2.el7.centos.x86\_64 --nodeps

###   2、安装基本包 ###

*   yum install openssh wget vim openssh-clients openssl gcc openssh-server mysql-connector-odbc -y
 *   systemctl enable sshd && systemctl start sshd

### 3、安装mysql jdbc 驱动 ###

yum install mysql-connector-java -y   
   四台机器安装jdk、配置环境变量，java、javac、java -version查看jdk是否安装成功

### 4、安装mysql，建立ambari、hive、oozie数据库和用户 ###

安装mysql的环境：yum -y install gcc gcc-c++ gdb cmake ncurses-devel bison bison-devel    
    解压mysql安装包：tar -xvf MySQL-5.6.37-1.el6.x86\_64.rpm-bundle.tar  
    安装mysql:sudo rpm -ivh --force MySQL-shared-5.6.37-1.el6.x86\_64.rpm MySQL-shared-compat-5.6.37-1.el6.x86\_64.rpm MySQL-server-5.6.37-1.el6.x86\_64.rpm MySQL-test-5.6.37-1.el6.x86\_64.rpm MySQL-client-5.6.37-1.el6.x86\_64.rpm MySQL-devel-5.6.37-1.el6.x86\_64.rpm MySQL-embedded-5.6.37-1.el6.x86\_64.rpm   --nodeps  
    启动mysql：service mysql start  
    查看初始密码：cat /root/.mysql\_secret  
      
    create database ambari character set utf8 ;    
    CREATE USER 'ambari'@'%'IDENTIFIED BY 'Siger\_123';  
    GRANT ALL PRIVILEGES ON \*.\* TO 'ambari'@'%';  
    FLUSH PRIVILEGES;

如果要安装Hive，再创建Hive数据库和用户 再执行下面的语句：  
    create database hive character set latin1;    
    CREATE USER 'hive'@'%'IDENTIFIED BY 'xxx';  
    GRANT ALL PRIVILEGES ON \*.\* TO 'hive'@'%';  
    FLUSH PRIVILEGES;

如果要安装Oozie，再创建Oozie数据库和用户 再执行下面的语句：  
    create database oozie character set utf8 ;    
    CREATE USER 'oozie'@'%'IDENTIFIED BY 'xxx';  
    GRANT ALL PRIVILEGES ON \*.\* TO 'oozie'@'%';  
    FLUSH PRIVILEGES;

## 三、制作本地源 ##

### 1、安装服务和yum源 ###

安装本地源制作相关工具  
    $ yum install yum-utils createrepo -y  
    数据库驱动  
    yum install -y mysql-connector-java

###  2、 安装httpd服务 ###

$ yum install httpd -y  
    $ systemctl enable httpd && systemctl start httpd  
    $ cd /var/www/html/ && mkdir ambari  
    tar xf ambari-2.5.2.0-centos6.tar.gz -C /var/www/html/ambari/  
    tar xf HDP-2.6.2.0-centos6-rpm.tar.gz -C /var/www/html/ambari/  
    tar xf HDP-UTILS-1.1.0.21-centos6.tar.gz -C /var/www/html/ambari

*      验证httd网站是否可用，浏览器访问

http://192.168.1.61/ambari/

*     结果是看到刚才解压的目录

###     3、配置ambari、HDP、HDP-UTILS的本地源 ###

首先下载上面资源列表中的相应repo文件，修改其中的URL为本地的地址，相关配置如下：  
    $ cd /etc/yum.repos.d/  
    修改 ambari.repo和hdp.repo

*   vim ambari.repo

<table style="width:550px;"> 
 <tbody> 
 <tr> 
 <td style="width:549px;"> #VERSION_NUMBER=2.4.2.0-136 [ambari-2.5.2.0] name=ambari Version - ambari-2.5.2.0 baseurl=http://172.26.177.93/ambari/ambari/centos6 gpgcheck=1 gpgkey=http://172.26.177.93/ambari/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1 </td> 
 </tr> 
 </tbody> 
</table>

*  vim hdp.repo

<table style="width:543px;"> 
 <tbody> 
 <tr> 
 <td style="width:542px;"> #VERSION_NUMBER=2.5.3.0 [HDP-2.6.2.0] name=HDP Version - HDP-2.6.2.0 baseurl=http://172.26.177.93/ambari/HDP/centos6 gpgcheck=1 gpgkey=http:///172.26.177.93/ambari/HDP/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1 &nbsp; [HDP-UTILS-1.1.0.21] name=HDP-UTILS Version - HDP-UTILS-1.1.0.21 baseurl=http://172.26.177.93/ambari gpgcheck=1 gpgkey=http://172.26.177.93/ambari/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1</td> 
 </tr> 
 </tbody> 
</table>

重新编译yum源

$ yum clean all  
    $ yum makecache  
    $ yum repolist

## 四、安装Ambari (在主机上部署) ##

### 1、安装ambari ###

$ 主节点：yum install ambari-server -y  
      从节点：yum install ambari-agent

### 2、用Ambari用户（上面设置的用户）登录mysql ###

如果使用自己定义的数据库，必须在启动Ambari服务之前导入Ambari的sql脚本

mysql -u ambari -p  
    use ambari  
    source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

**（主节点也要安装agent服务）**

###  3、配置Ambari ###

主节点：ambari-server setup

**下面是配置执行流程，按照提示操作**

<table style="width:500px;"> 
 <tbody> 
 <tr> 
 <td> （1） 提示是否自定义设置。输入：y Customize user account for ambari-server daemon [y/n] (n)? y （2）ambari-server 账号。输入：ambari Enter user account for ambari-server daemon (root):ambari Adjusting ambari-server permissions and ownership... （3）设置JDK。输入：3 Checking JDK... Do you want to change Oracle JDK [y/n] (n)? y [] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8 [] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7 [] Custom JDK ============================================================================== Enter choice (1): 3 （4）如果上面选择3自定义JDK,则需要设置JAVA_HOME。输入：/opt/java/jdk1.8.0_112 WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts. WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts. Path to JAVA_HOME: /opt/java/jdk1.8.0_112 Validating JDK on Ambari Server...done. Completing setup... （5）数据库配置。选择：y Configuring database... Enter advanced database configuration [y/n] (n)? y （6）选择数据库类型。输入：3 Configuring database... ============================================================================== Choose one of the following options: [1] - PostgreSQL (Embedded) [2] - Oracle [3] - MySQL [4] - PostgreSQL [5] - Microsoft SQL Server (Tech Preview) [6] - SQL Anywhere ============================================================================== Enter choice (3): 3 （7）设置数据库的具体配置信息，根据实际情况输入，如果和括号内相同，则可以直接回车。 Hostname (localhost): Port (): Database name (ambari): Username (ambari): Enter Database Password (ny_123456):</td> 
 </tr> 
 </tbody> 
</table>

### 4、启动ambari ###

主节点启动：ambari-server start  
      从节点启动：ambari-agent start

### 五、使用Ambari界面安装Hadoop、Hbase、Log Search服务 ###

### 1、登录 ###

*  出现登录界面，默认管理员账户登录， 账户：admin 密码：admin

### ![70][] ###

### 2、登录成功 ###

*  登录成功后出现下面的界面，至此Ambari的安装成功

### ![70 1][] ###

### 3、安装安装HDP 2.6.2 配置集群 ###

*  （点击上面登录成功页面的Launch Install Wizard 按钮进行集群配置），设置集群名称

### ![70 2][] ###

### 4、置HDP安装源 ###

*  （选择HDP2.6 ,并且设置Advanced Repository Options 的信息，本次使用本地源，所以修改对用系统的安装源为本地源地址）

<table style="width:538px;"> 
 <tbody> 
 <tr> 
 <td style="width:403.3pt;"> 选择RedHat7,填写下面源链接 HDP-2.5: http://192.168.1.61/ambari/HDP/centos6 HDP-UTILS-1.1.0.21:http://192.168.1.61/ambari </td> 
 </tr> 
 </tbody> 
</table>

![70 3][]

### 5、设置集群机器 ###

*  （下载主节点上的id\_rsa私钥到本地，就是ssh的秘钥）

### ![70 4][] ###

### 6、Host确认 ###

*  （确认前面配置集群中hosts列表 中的机器是否都可用，也可以移除相关机器，集群中机器Success后进行下一步操作）

### ![70 5][] ###

### 7、选择要安装的服务 ###

### ![70 6][]![70 7][] ###

### 8、各个服务Master配置 ###

*  根据各节点的资源压力，适当的合理分配服务

### ![70 8][] ###

### 9、服务的Slaves 和 Clients节配置 ###

### ![70 9][] ###

### 10、服务的客制化配置 ###

### ![70 10][] ###

### 11、显示配置信息 ###

### ![70 11][] ###

### 12、开始安装 ###

*  （安装各个服务，并且完成安装后会启动相关服务，安装过程比较长，如果中途出现错误，请根据具体提示或者log进行操作）
 *  ![70 12][]

### 13、全部安装成功界面如下 ###

### ![70 13][] ###

### 14、安装完成 ###

### ![70 14][]   ![70 15][] ###

## 六、Hadooop高可用配置 ##

*  （现在安装好Hadoop是不支高可用的，下面准备开启Hadoop高可用）

### 1、开启高可用开关 ###

![70 16][]

### 2、设置高可用名称 ###

*  （如果hbase是启动的话请关闭在开启HA高可用）
 *  ![70 17][]

### 3、选择服务安装在那台主机上 ###

### ![70 18][]![70 19][] ###

### 4、按照提示操作，最后显示如下表示HA安装成功 ###

### ![70 20][] ###

### 5、Hbase高可用会显示如下图 ###

### ![70 21][] ###

**    storm、spark等其他的服务类似，选择，然后一键化安装**

[70]: /images/20220517/9abb4227881247d98e76c9159fbdb7d0.png
[70 1]: /images/20220517/5acd1e3898534269818d68b9306eca07.png
[70 2]: /images/20220517/47d84f24add9433dafabbd22379ce1f6.png
[70 3]: /images/20220517/3501000f5f5b459c87e92a776e5b38e7.png
[70 4]: /images/20220517/24bbd95f67194b8db4233bd117c23b40.png
[70 5]: /images/20220517/3d2015f7c27248ebaae474c78c9b28bb.png
[70 6]: https://img-blog.csdn.net/20180822091250931?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMTUzNjE5/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 7]: /images/20220517/41d375b698d149068cb837f3cc7ab025.png
[70 8]: /images/20220517/a8e0b2ca2e2a42c499977e7f14c03c4f.png
[70 9]: /images/20220517/0fbca084ad5a48ac923449b772e11fe1.png
[70 10]: /images/20220517/9a606ff72b2a494f8baa3d380f9c6a42.png
[70 11]: /images/20220517/f36d046f6da641ff8c9d9e323cd1f7c4.png
[70 12]: /images/20220517/2f6f1bf4062c4feb9d43f150d5f6bf0d.png
[70 13]: /images/20220517/20cef068712a4f279ef044ff7ae85de4.png
[70 14]: https://img-blog.csdn.net/20180822091251529?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMTUzNjE5/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 15]: /images/20220517/ec169d4ff7564db0b225b72abb287bf8.png
[70 16]: /images/20220517/4a6f98a3929b4001919427ca34bbc65e.png
[70 17]: /images/20220517/3fb528f9e4e744c99ded6af48bad2600.png
[70 18]: https://img-blog.csdn.net/20180822091251999?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMTUzNjE5/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 19]: /images/20220517/7d5496e8a058451584370325c9de6c09.png
[70 20]: /images/20220517/639e971752a4406aadaecc3ef173b650.png
[70 21]: /images/20220517/69a4111c9f3543478426b18ca99b1d87.png