超详细版企业离线部署CDH6.10集群与配置使用

墨蓝 2022-10-06 00:52 360阅读 0赞

进入大数据行业数载，也从一个开发小白走到了今天，期间也历经过一摸番着石头过河的探索，到如今的胸有点墨；玩过demo,使用过负责过上千节点的大数据集群开发与使用；被人面虐过，也面跪过一些人。如今，趁着自己心中有火，眼里有光的年纪，把自己的一点心得与经验分享大数据行业的爱好者。也希望有助于后面的童鞋少走弯路，欢迎大家私信交流。持续每周更新。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70][]

**死磕大数据系列**

*  1.死磕大数据系列将从企业上千节点集群的搭建（包括cdh集群，以及升级后apache hadoop3集群），性能优化，牵扯到的组件包括HDFS,MapReduce,YARN,Hive,Spark,Zookeeper,Hbase,Kafka,Flink,Flume等搭配使用与优化，这次不搞demo，只展示大规模集群的生产应用与实施方案；
 *  2.深入组件内部死磕HDFS内部原理，NameNode性能优化，datanode数据存储设计，深入HDFS的存储架构，知其然又知其所以然，实时分享大规模集群存储相关设计，优化以及实战运维经验；
 *  3.死磕MR/Hive,Spark等计算引擎，实时案例展示企业开发中遇到的性能瓶颈，异常分析与性能优化，解决方案；**我一直觉得只有碰到过性能瓶颈才能谈优化，脱离此都是纸上谈兵。**
 *  4.死磕YARN三大组件，RM,NM,APPmaster，展示上千节点集群资源调度设计，优化改造的方案与实施；让你明白集群优化前后的巨大差别，合理优化的重要性； 
 *  5.死磕Kafka/Flume，SparkStreaming等流式组件，展示日均500Tb流式数据组件设计与使用，分享遇到的性能瓶颈与组件优化；
 *  6.死磕大数据架构，案例分析让你见识企业中数仓建模的来龙去脉，上百PB数据的处理，你会发现实战其实与书本相差甚远。大规模集群组件的选型与设计；大厂实际中大数据开发与管理的规范，如何提高效率；

# 1.生产CDH集群搭建前准备 #

** 对于大数据初学者，强烈建议使用cdh版本，使用cm搭建管理集群进行测试，学习。因为更加好用，方便，直观，见识下啥叫成熟的架构。学习要先见森林，再见树木，最后再见森林。不要一头扎进去linux黑窗口，那不是酷，那是傻。可以说80%的大数据开发者在大厂里是不允许直接操作linux跳板机的，而是成型的，成熟的，稳定的大数据web开发环境。**

**中小型的公司，使用CDH集群的还是很多，因为实在很方便，免费的且强大的功能。一般中小型公司节点个数从几十台到几百台不等，可以考虑使用CDH。但是现在CDH和HDP合并了，从今年2月以后CDH不支持在线下载安装了（收费），且免费的版本不超过100台节点了，很多功能还用不了。像我们公司上千节点，现在都在迁移开源的 Apache Hadoop3了，组件的二次开发，监控平台开发等成本很高。**

**      但是学会CDH的生产部署，在小公司还是有市场的。安装部署集群前，最重要的是先把集群的主要服务架构部署清楚，一般生产上稍微规模大点的集群，核心服务都会使用单独的服务器，不会在上面开启计算和存储节点的。考虑成本的话，也会在不影响集群核心服务的同时存储计算等混合使用。**

**      下面以十几台服务器为例，全流程展示生产CDH集群的安装与使用,展示使用的系统centos6.9，linux命令比较简单，centos7的话对应命令直接百度。关于CDH集群组件与介绍等可以百度，也可以参考CDH官网手册，可以这里下载**

**链接：https://pan.baidu.com/s/1MRbwWSgyvo9vQMuI5Xq8OQ   
提取码：abcD **

## 1.1 安装前服务器核心配置与检查 ##

### 1.1.1.关闭防火墙 ###

参考命令：service iptables status/ stop

### 1.1.2.关闭 Selinux ###

参考命令：vim /etc/selinux/config --> SELINUX=disable

### 1.1.3.所有主机hosts-ip映射到每个hosts ###

参考命令：vi/cat /etc/hosts

实际上大规模集群，规范化集群都不用这种hosts方式，低效，一般都用dns解析。

### 1.1.4.配置主机账号密码一致 ###

参考命令： passwd

配置所有主机的root或者具有root权限账号的密码一致，方便后面操作。

### 1.1.5 JDK配置 ###

所有主机的jdk环境可以不部署，下面安装的时候使用自带的通过自定义yum源安装

### 1.1.6 磁盘格式化，挂载等 ###

一般一台服务器至少8T\*12盘，磁盘需要格式化成某种特定格式，然后挂载到服务器上。可以使用脚本一键格式化，一键命名挂载所有磁盘。如果是虚拟机搭建可以不考虑。网上搜下很多成熟的脚本。

## 1.1.7 NTP时间同步服务器搭建 ##

各个服务器之间时间要同步 ，一般所有服务器的时间以某台节点为准。

** 1.所有节点安装ntp服务**

参考命令：yum install -y ntp ntpdate

chkconfig ntpd on  设置开机自启动

**2 修改配置文件：**

**修改主服务器   **vim  /etc/ntp.conf  一下是主服务的配置,安装时可以粘贴替换使用

driftfile /var/lib/ntp/drift
    restrict default kod nomodify notrap nopeer noquery
    restrict -6 default kod nomodify notrap nopeer noquery
    restrict 127.0.0.1
    restrict -6 ::1
    server 127.127.1.0     # local clock
    fudge  127.127.1.0 stratum 10
    restrict 10.0.0.0 mask 255.0.0.0 nomodify

**修改其他从服务器的配置文件，可以使用一键分发脚本，ansible等工具**

修改所有从服务器 vim  /etc/ntp.conf
    
    注释掉所有server打头的配置项，添加如下配置项：
    
    server 10-90-50-52-jhdxyjd.mob.local 这个是主服务器的主机名

**3.先重启主服务器，再重启从服务器，命令一样**

参考命令：service ntpd start

查看同步状态ntpq -p，其他从服务器是否从主服务器同步时间

![20210611001931531.png][]

**这些基础配置，如果是大厂的话，一般会有专门的基础运维处理；**

# 2. CDH 6.1.0的CM安装 #

**注意CDH集群的安装与开源的Apache Hadoop不同，非常方便。只需要单节点安装一个cm server 管理即可，后面所有服务的安装部署，参数优化等都可以通过部署的cm节点的web界面去操作了。**

## 2.1为啥需要配置yum源？ ##

现在cdh也不支持在线安装了，除非你有cm的账号，否则免费版只支持离线安装。  CDH集群的安装简单就简单在他只需要配置yum源。不需要每个节点都分发cm的安装包，只需要配置一个web的网络yum即可，其他节点安装使用时，直接从这个节点下载分发使用即可。所有配置yum源就是配置网络yum源。

cdh6.1生产需要的所有离线包，直接下载即可。

**链接：https://pan.baidu.com/s/1MRbwWSgyvo9vQMuI5Xq8OQ   
提取码：abcD **

## 2.2 配置主节点yum源 ##

选一个装cm的主节点，后面的操作都基于这个节点即可。**比如我这里选择的是10.90.50.52这台服务器**，在这台节点配置yum源和安装cm管理。

### 2.2.1 安装httpd 服务&启动httpd ###

参考命令：yum -y install httpd

chkconfig httpd on  添加开机自启动

service httpd start   启动httpd服务

这个安装好了可以10.90.50.52:80 web打开界面

## 2.22 配置yum 仓库 ##

**下载所有CDH6.1.0离线安装需要的包与依赖。**

**链接：https://pan.baidu.com/s/1MRbwWSgyvo9vQMuI5Xq8OQ   
提取码：abcD **

1.上传 **cm6.1.0.tar.gz** 到/var/www/html目录下（目录没有话，直接创建，注意这个目录不要改，是cm默认安装目录，可以改，但是你要熟悉）并解压

参考命令：cd /var/www/html/;tar -zxvf cm6.1.0.tar.gz

![20210611004511628.png][]

2.配置yum 源文件：

参考命令：cd /etc/yum.repos.d/
    
    vim  cloudera-manager.repo 添加如下内容：
    
    #当前ip就是你配置cm主节点与网络yum源的节点
    
    [cloudera-manager]
    
    name = Cloudera Manager, Version
    
    baseurl = http://10.90.50.52/cm6.1.0/
    
    gpgcheck = 1

3.检查配置是否成功

参考命令：yum list | grep cloudera  有如下输出即可

![20210611004807492.png][]

或者直接在浏览器中访问 [http://10.90.50.52/cm6.1.0/][http_10.90.50.52_cm6.1.0]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 1][]

## 2.3 安装mysql ##

**  mysql主要作用是存储cm，各个组件等相关元数据信息，比如hive的元数据，可以共用一个mysql数据，也可以分开mysql，比如我们之前生产hive元数据的存储用的就是pg，高可用。小集群一般不分开没啥事，但为了元数据的安全要配置mysql的高可用，或者定时同步mysql元数据进行备份。**

** 1.上传上面下载的mysql安装包到服务器，将其解压到指定路径，随便都可以。这里使用的是 /data/centos6为例**

参考命令： tar  -xvf  mysql-5.7.33-1.el6.x86\_64.rpm-bundle.tar  -C  /data/centos6

![20210611010157981.png][]

**2.进入解压目录，执行yum 安装**

cd /data/centos6;
    
    yum install -y  mysql-community-{server,client,common,libs}-*;
    
    可以参考mysql配置你文件，修改mysql数据存储路径等，大规模生产有必要。
    
    more /etc/my.cnf

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 2][]

**3.等待安装完成，初始化数据目录**

mysqld --defaults-file=/etc/my.cnf --initialize-insecure --user=mysql

**4.初始化完成，启动mysql服务**

service  mysqld  start;
    
    chkconfig mysqld on 设置开机自动

**5.执行mysql客户端命令mysql，进入mysql，修改root密码；**

这里密码以123456为例
    mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';
    
    mysql> grant all privileges on *.* to 'root' @'%' identified by '123456';  ##修改远程可访问

**注意后面还需要创建一些数据库，等使用时在创建吧，这样你知道为啥创建**

## 2.5 主节点安装CM-server ##

### 2.5.1 jdk的安装 ###

yum -y install oracle-j2sdk1.8.x86_64
    
    yum -y install     oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm

### **2.5.2 安装依赖（如果上面报依赖的错误）** ###

yum -y install cyrus-sasl-gssapi fuse-libs MySQL-python openssl-devel fuse lsb portmap mod_ssl python-psycopg2 libxslt

### **2.5.3 安装主服务** ###

yum install -y cloudera-manager-server.x86_64 cloudera-manager-daemons.x86_64  cloudera-manager-agent.x86_64

**1.安装后修改 cm\_server 的配置文件**

vim /etc/cloudera-scm-server/db.properties

**注释掉此行 \#com.cloudera.cmf.db.setupType=INIT**

添加如下内如：

com.cloudera.cmf.db.type=mysql
    com.cloudera.cmf.db.host=localhost
    com.cloudera.cmf.db.name=scm
    com.cloudera.cmf.db.user=scm
    com.cloudera.cmf.db.setupType=EXTERNAL
    com.cloudera.cmf.db.password=scm

![20210611011626483.png][]

**2.登入mysql 创建上面配置的用户和数据库**

![20210611011725379.png][]

mysql> create database scm DEFAULT CHARACTER SET utf8; 
    mysql> grant all on scm.* TO 'scm'@'%' IDENTIFIED BY 'scm';

**3.上传添加安装包里的mysql-connector-java.jar包到指定位置**

cd  /opt/cloudera/cm/lib; 添加进到这个目录

上传完以后检查一下ll  /opt/cloudera/cm/lib/mysql-connector-java.jar

![20210611011915497.png][]

### 2.5.4 配置本地的parcel 文件 ###

**cd /opt/cloudera/parcel-repo** ，需要将上面百度网盘下载parces文件copy到这个目录下。**此目录下有以下三个文件（注意此目录的权限，应该是用户cloudera-scm所属权限），总共三个文件，如下图所示。**

![20210611012101243.png][]

![20210611012101320.png][]

### 2.5.5 启动cm server ###

**1.启动 cm\_server**

service  cloudera-scm-server start  如果显示【ok】

**2.也进入日志目录，查看日志详情**

cd /var/log/cloudera-scm-server/; tail -f cloudera-scm-server.log

出现一下内容表示启动成功：

![20210611012456432.png][]

**3.端口检验，cm 默认使用7180端口（也可以改），所以要在本地能通服务器10.90.50.52:7180。否则打不开cm界面，无法进行下一步。**

netstat -anptl | grep 7180

![20210611012456409.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 3][]

### **2.5.6 登录wed页面进行相关服务组件添加** ###

**[http://10.90.50.52:7180/][http_10.90.50.52_7180]**

**初始用户名密码：admin/admin**

**cdh集群的默认的超级用户是hdfs**

![20210611013145743.png][]

到此结束，cm server已经安装好了，后面所有的zookeeper,hdfs,yarn,hbase,hive,spark,flume,kafka等组件的安装配置，配置优化，节点添加，退役等等都可以通过这个界面进行操作了。

# 3. 基于CM安装配置大数据组件与应用 #

## 3.1 cm的监控与配置等安装 ##

上面安装好10.90.50.52的cm后，admin/admin登录进去，如下界面，配置cm的基础信息，

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 5][]

**注意，这里要选择免费版本**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 6][]

**下面直接继续，默认完成即可。然后选择集群安装**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 7][]

**注意，默认端口22不用更改，我这里更改是因为公司修改了默认端口。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 8][]

**这一步要注意：yum源地址就是上面配置的，注意版本，是否跟提供的安装包一致，一般一样的。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 9][]

**jdK使用cdh自带的即可，cdh要求orace-jdk.**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 10][]

**下面直接输入主机密码，建议所有主机刚开始统一设置密码，方便后面操作。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 11][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 12][]

安装过程也可以后端查看进度

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 13][]

**等待继续，直到安装完成，可以看到cm6自带了哪些版本的大数据组件，非常丰富。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 14][]

**cm安装好了，添加cm的监控服务.**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 15][]

**cm自带很多服务，比如分发，监控等，可以将这些服务分开安装不同机器，也可以放到一台机器。这里是放到一台机器，规模不大，这些服务也不怎么消耗性能。下面的安装直到下一步即可，安装完成可以在cm界面查看。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 16][]

**注意这里需要在10.90.50.52的mysql中创建一个元数据库给active\_monitor存放元数据**

**mysql> create database Active\_Monitor DEFAULT CHARACTER SET utf8;   
mysql> grant all on Active\_Monitor.\* TO 'Active\_Monitor'@'%' IDENTIFIED BY 'Active\_Monitor';**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 17][]

**点击完成后：各图标开始有监控指标**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 18][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 19][]

## 3.2 添加主机，进行大数据组件安装 ##

**上面讲cm的所有服务都安装10.90.50.52上，生产上也可以分开，小规模集群也无所谓。这个节点只装服务即可。然后安装集群，需要先添加主机，添加一定数量的主机，完成大数据主服务的安装，其他就是扩容DN,NM节点而已，很简单。比如，一般大数据集群，至少有6台用来安装主服务，且配置相对要好，尤其namenode节点，都是ssd固态硬盘等，内存条也贼好。集群的安装，要先设计好组件架构**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 20][]

### 3.2.1添加主机 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 21][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 22][]

**直接将需要添加的主机，全部粘贴到这个文本框里然后检索**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 23][]

**注意这里是给添加到集群的主机，配置yun源的，然后继续**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 24][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 25][]

**配置密码，cdh的安装不需要ssh，直接配置密码即可**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 26][]

**下一步直到安装完成，主机检查可以跳过，直接点回主页即可，查看添加成功的主机**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 27][]

## 3.3 大数据组件Zookeeper的安装 ##

**cdh组件的安装是分开的，不想apache，一个hadoop包，可以安装好yarn，hdfs等，cdh把不同组件拆分安装，方便单独配置。集群安装的第一步zookeeper.**

**1.首页，添加服务，选中zookeeper.**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 28][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 29][]

**这里zookeeper装3台，选择三个节点，装5台就选5个节点即可**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 30][]

**后面全部可以默认安装完成即可，当然也可以修改部分安装存储目录。新手不建议修改。**

## 3.4 安装HDFS组件,配置HA,JN ##

**1.首页，添加服务，选中hdfs**

**注意这里配置的secondarynaenode节点后面是为了ha的，备namenode。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 31][]

**这里需要注意，一般cdh6很智能了，会自动检索你主机挂载的盘符，根据盘符的数量进行自动分组。你也可以修改一些参数，当然也可以安装后在统一修改。后面直接默认，下一步安装完成即可。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 32][]

**然后点击启动namenode ha,配置JN,完成即可**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 33][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 34][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 35][]

**这里配置对应namenode本地存储目录，然后继续下一步，后面的主机检查可以忽略跳过。然后hdfs就安装完成了。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 36][]

## 3.5安装YARN组件,配置HA ##

**1.首页，添加服务，选中YARN**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 37][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 38][]

**然后直接下一步安装跟上面hdfs安装一样，最后完成即可，启动 ResourceManager HA,添加ha两台主机，下一步即可，装好以后这些服务会自动重启。这里NM,RM安装在同一个节点，实际生产可以分开，配置不同主机即可。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 39][]

## 3.6安装Hive组件 ##

**1.首页，添加服务，选中Hive**

**注意 hive gateway其实就是hive客户端，根据需求配置，我这里都分发了，也可以后面配置。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 40][]

**注意，这里需要在10.90.50.52上创建mysql里数据库，库名这里以hive\_metastore为例，存储hive元数据。**

**mysql> create database hive\_metastore DEFAULT CHARACTER SET utf8;   
mysql> grant all on hive\_metastore.\* TO 'hive\_metastore'@'%' IDENTIFIED BY 'hive\_metastore';**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 41][]

**注意，这里直接安装会报错，需要把mysql的jdbc连接放到hive/lib目录下，这个跟apache一致**

**cp /opt/cloudera/cm/lib/mysql-connector-java.jar  /opt/cloudera/parcels/CDH/lib/hive/lib/**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 42][]

**安装完后，可以创建hive数据库，要用hdfs超级管理员操作**

**export HADOOP\_USER\_NAME=hdfs ，hive**

## 3.7 Spark的安装与配置 ##

**1.首页，添加服务，选中Spark**

**2.注意安装完后，spark history需要手动重启**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 43][]

# 4. 生成集群监控指标 #

**上面所有的图标支持拖拉，生成指标，如下，命令可以去cdh官网查询，或者可以打开图标查看命令格式。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 44][]

# 5.集群优化，参数配置 #

**可以进去不同组件，配置里，修改默认的参数。比如NodeManager的资源分配等，这些是不能使用默认值的。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 45][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 46][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70]: /images/20221005/7e3386d520704528b8cf4659d641a8a6.png
[20210611001931531.png]: /images/20221005/d6bb40dda024480297b2381204e4481d.png
[20210611004511628.png]: /images/20221005/0c039d8b7fc84defb3d94eaa9ba65a77.png
[20210611004807492.png]: /images/20221005/351c892f48ac484e861522adab880d71.png
[http_10.90.50.52_cm6.1.0]: http://10.90.50.52/cm6.1.0/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 1]: /images/20221005/66cd4002a1cb49d091091c1c8e6e7747.png
[20210611010157981.png]: /images/20221005/1f5ae400735b469e9a6afca3d521ed3f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 2]: /images/20221005/80816253b38f4ef89ab1a5d907a95be3.png
[20210611011626483.png]: /images/20221005/c5ebea6cdb9f4f46a08f3f521b8f43c3.png
[20210611011725379.png]: /images/20221005/fd15bc22316242dd8a09cd47afb40180.png
[20210611011915497.png]: /images/20221005/af2a6688ba8a4851a65820cd06c73477.png
[20210611012101243.png]: /images/20221005/58427f4610e24623a0de837d7fe39c43.png
[20210611012101320.png]: /images/20221005/8f0a9050b2e345cdb66e4b9cd99ca4a6.png
[20210611012456432.png]: /images/20221005/b960b18ffbe24701850d4cc65b4213a7.png
[20210611012456409.png]: /images/20221005/e8502ea77b144096a839b2407936adb3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 3]: /images/20221005/cc701213cafe4a00baa27a779608b986.png
[http_10.90.50.52_7180]: http://10.21.128.42:7180/
[20210611013145743.png]: /images/20221005/e65204131bd7460fbda9b64e0f0a723f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 4]: /images/20221005/aaf07fa24bc84e9fb4bb432fb12ef602.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 5]: /images/20221005/aec9bb342aed4464ad7be0a96af73e52.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 6]: /images/20221005/a1636a3aa80c4b6f83e6321ab98087c0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 7]: /images/20221005/3d4bd9f17b5340009a628910f6ac376e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 8]: /images/20221005/c4f354aed6c54dfaa94ad39e7726fccf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 9]: /images/20221005/ef824b3fe8ff40be9f5478b7245c50f8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 10]: /images/20221005/3980ab5062324e4dbe5852ba7bb787d1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 11]: /images/20221005/319a509a49af46fd97cf6f58f9ce3854.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 12]: /images/20221005/1406600ad7514e52accf5bc2209ba8c3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 13]: /images/20221005/e20b922acdc245239f6ffe08bfe787b8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 14]: /images/20221005/a88e990e7f9e482a9a4c5ac089acc35d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 15]: /images/20221005/96196e1b4c124547b04c3e6cb6628012.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 16]: /images/20221005/de5bc22c65af4e979ad5e71abbae1d2a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 17]: /images/20221005/45606d1f8cf24a2ca3b28bbade2eb239.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 18]: /images/20221005/eb725b3119fe42beb4ca2a72aa882c62.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 19]: /images/20221005/d49f40db26f74f18a16196ec56a8330d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 20]: /images/20221005/c312f2683b2e4daca2b3cafcdac01c81.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 21]: /images/20221005/8743047657754cf589539c54392a8f15.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 22]: /images/20221005/12cb12e7a39749dea33172064771bb5d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 23]: /images/20221005/bf7047a9788d451b800eb71819f7280b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 24]: /images/20221005/9697a1cd79f741858f725c1f30a3a745.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 25]: /images/20221005/cee1c388b9a7410a98d32bc2196ba777.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 26]: /images/20221005/340a5488068b4a5abe0615ff292f465d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 27]: /images/20221005/89ad362de5a74bb6a91470a1eecf7476.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 28]: /images/20221005/3d6516a644954e3b814b880026877cef.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 29]: /images/20221005/0ed44d56803f4466a64f93caa30e8a3f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 30]: /images/20221005/4d6d6afd392447468af95173389802ac.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 31]: /images/20221005/191cc48aaf4c4f069b9caeb7b872ae5c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 32]: /images/20221005/7a674b158fe745eb99a9dffd685837bf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 33]: /images/20221005/54ad31bc99c14572987b4b945f45304b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 34]: /images/20221005/5b07c50697094b489895c1c57ef63773.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 35]: /images/20221005/b06708d8b5984ef8a0e1500232e6a230.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 36]: /images/20221005/24002208dfe440b6b5c7379f4e4258b0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 37]: /images/20221005/95b10b34b22e419a9a2b72ec0648132d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 38]: /images/20221005/6cfba03860d54f409f361cad4601241b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 39]: /images/20221005/10df89276d4b41bf9dc8cfe09e6d8e76.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 40]: /images/20221005/41d8e7397f7f4cba964216df3f130df8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 41]: /images/20221005/d12d92c0b9c142f0a60512c8a34c71bf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 42]: /images/20221005/71a1c6924c354633a3a0b68ddd22b7a6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 43]: /images/20221005/9bb654830f6a4f9c9b8e09d4d1195d31.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 44]: /images/20221005/143d6b4026384b47b122e36dc05822dd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 45]: https://img-blog.csdnimg.cn/20210611104422374.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 46]: /images/20221005/2574c347be474c14bbfe0213aafca180.png