大数据技术之Cloudera Manager安装

约定不等于承诺〃 2021-11-26 11:36 373阅读 0赞

# **第1章 Cloudera**** ****Manager**** ** #

## **1.1**** cloudera manager****的概念** ##

简单来说，Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。

** **

**1.2**** cloudera manager****的功能**

1) 管理：对集群进行管理，如添加、删除节点等操作。

2) 监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。

3) 诊断：对集群出现的问题进行诊断，对出现的问题给出建议解决方案。

4) 集成：多组件进行整合。

**1.3**** cloudera manager****的架构**

1) Server：负责软件安装、配置，启动和停止服务，管理服务运行的群集。

2) Agent：安装在每台主机上。负责启动和停止的过程，配置，监控主机。

3) Management Service：由一组执行各种监控，警报和报告功能角色的服务。

4) Database：存储配置和监视信息。

5) Cloudera Repository：软件由Cloudera 管理分布存储库。（有点类似Maven的中心仓库）

6) Clients：是用于与服务器进行交互的接口（API和Admin Console）

# **第2章 环境要求** #

## **1.****1**** ****内存分配** ##

将3台虚拟机分配好内存

## **1.2**** JDK** ##

安装JDK配置环境变量

## **1.****3**** ****安装配置****mysql** ##

在cdh1上安装mysql，配置相应的用户权限。

## **1.4**** ****关闭****SELINUX** ##

1) 临时关闭：

setenforce 0

2) 修改配置文件/etc/selinux/config（重启生效）

将SELINUX=enforcing 改为SELINUX=disabled

## **1.5**** ****ssh免密登录** ##

将cdh1，cdh2，cdh3相互之间配置免密登陆。

## **1.6**** ****下载第三方依赖** ##

在三台节点（所有agent的节点）上执行下载第三方依赖

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

## **1****.****7**** ****创建****CM用的数据库：** ##

（1）集群监控数据库

create database amon DEFAULT CHARSET utf8 COLLATE utf8\_general\_ci;

（2）hive数据库

create database hive DEFAULT CHARSET utf8 COLLATE utf8\_general\_ci;

（3）oozie数据库

create database oozie DEFAULT CHARSET utf8 COLLATE utf8\_general\_ci;

（4）hue数据库

create database hue DEFAULT CHARSET utf8 COLLATE utf8\_general\_ci;

# **第3章 ****CM****安装部署** #

CM下载地址：http://archive.cloudera.com/cm5/cm/5/

离线库下载地址：http://archive.cloudera.com/cdh5/parcels

注：以下所有操作均使用root用户

## **2.1 解压cloudera-manager-el6-cm5.12.1\_x86\_64.tar.gz** ##

\[root@cdh1 module\]\# mkdir /opt/module/cloudera-manager

\[root@cdh1 module\]\# tar -zxvf /opt/software/cloudera-manager-el6-cm5.12.1\_x86\_64.tar.gz -C /opt/module/cloudera-manager/

## **2.2**** ****创建用户****cloudera-scm（所有节点）** ##

\[root@cdh1 cloudera-scm-server\]\# useradd --system --home=/opt/module/cloudera-manager/cm-5.4.3/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

\--system 创建一个系统账户

\--home 指定用户登入时的主目录，替换系统默认值/home/<用户名>

\--no-create-home 不要创建用户的主目录

\--shell 用户的登录 shell 名

\--comment 用户的描述信息

注意：

Cloudera Manager默认用户为cloudera-scm，创建具有此名称的用户是最简单的方法。 安装完成后，将自动使用此用户。

## **2.3**** ****配置****CM Agent** ##

修改文件/opt/module/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/ config.ini

\[root@cdh1 cloudera-scm-agent\]\# vim /opt/module/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini

server\_host=cdh1

## **2.4**** ****配置CM的数据库** ##

1. 拷贝mysql jar文件到目录 /usr/share/java/

\[root@cdh1 share\]\# mkdir /usr/share/java/

\[root@cdh1 cm-5.4.3\]\# cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /usr/share/java/

\[root@cdh1 share\]\# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar

• 注意jar包名称要修改为mysql-connector-java.jar

2. 在mysql中创建cm库

\[root@cdh1 cm-5.4.3\]\# /opt/module/cloudera-manager/cm-5.4.3/share/cmf/schema/scm\_prepare\_database.sh mysql cm -hcdh1 -uroot -p00000000 --scm-host cdh1 scm scm scm

\-h：Database host

\-u：Database username

\-p：Database Password

\--scm-host：SCM server's hostname

## **2****.****5**** ****分发****cloudera-manage****r** ##

\[root@cdh1 module\]\# scp -r /opt/module/cloudera-manager/ cdh2:/opt/module/

\[root@cdh1 module\]\# scp -r /opt/module/cloudera-manager/ cdh3:/opt/module/

## **2.6**** ****创建****Parcel****-repo**** 目录** ##

1. Servre 节点创建目录/opt/cloudera/parcel-repo

\[root@cdh1 module\]\# mkdir -p /opt/cloudera/parcel-repo

\[root@cdh1 module\]\# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

2.拷贝下载文件到/opt/cloudera/parcel-repo

（1）CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel

（2）CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha1:需改名为CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha

（3）manifest.json

\[root@cdh1 cm-5.4.3\]\# mv /opt/software/CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha1 /opt/software/CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha

\[root@cdh1 module\]\# cp /opt/software/CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha /opt/cloudera/parcel-repo/

\[root@cdh1 module\]\# cp /opt/software/CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel /opt/cloudera/parcel-repo/

\[root@cdh1 module\]\# cp /opt/software/manifest.json /opt/cloudera/parcel-repo/

3.在Agent 节点（cdh1，cdh2，cdh3）创建目录/opt/cloudera/parcels

\[root@cdh1 module\]\# mkdir -p /opt/cloudera/parcels

\[root@cdh1 module\]\# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

\[root@cdh2 module\]\# mkdir -p /opt/cloudera/parcels

\[root@cdh2 module\]\# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

\[root@cdh3 module\]\# mkdir -p /opt/cloudera/parcels

\[root@cdh3 module\]\# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

## **2.7分发****Parcel****-repo** ##

\[root@cdh1 opt\]\# scp -r /opt/cloudera/ cdh2:/opt/

\[root@cdh1 opt\]\# scp -r /opt/cloudera/ cdh3:/opt/

## **2.****8**** ****启动和关闭****CM Server&Agent 服务** ##

服务节点：cdh1

\[root@cdh1 init.d\]\# /opt/module/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-server start

Starting cloudera-scm-server:                              \[确定\]

工作节点：cdh1\\cdh2\\cdh3

\[root@cdh1 init.d\]\# /opt/module/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent start

正在启动 cloudera-scm-agent：                              \[确定\]

\[root@cdh2 module\]\# /opt/module/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent start

正在启动 cloudera-scm-agent：                              \[确定\]

\[root@cdh3 module\]\# /opt/module/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent start

正在启动 cloudera-scm-agent：                              \[确定\]

注意：启动过程非常慢，Manager 启动成功需要等待一段时间，过程中会在数据库中创建对应的表需要耗费一些时间。

\[root@cdh1 init.d\]\# netstat -anp | grep 7180

tcp        0      0 0.0.0.0:7180                0.0.0.0:\*                   LISTEN      5498/java

查看被占用则表示安装成功了！！！

访问http://cdh1:7180，（用户名、密码：admin）

关闭：

服务节点：cdh1

\[root@cdh1 init.d\]\# /opt/module/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-server stop

停止 cloudera-scm-server：                                 \[确定\]

工作节点：cdh1\\cdh2\\cdh3

\[root@cdh1 init.d\]\# /opt/module/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent stop

Stopping cloudera-scm-agent:                               \[确定\]

# **第4章 ****常见错误问题：** #

1.1 如果agent启动失败，去哪看错误

\[root@cdh1 cloudera-scm-agent\]

/opt/module/cloudera-manager/cm-5.4.3/log/cloudera-scm-agent里的

cloudera-scm-agent.out

大数据技术之Cloudera Manager安装

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 Cloudera Manager平台

相关 Cloudera Manager介绍

相关 Cloudera Manager安装streamsets

相关安装Cloudera Manager 5

相关安装Cloudera Manager

相关 Cloudera学习（1）------安装Cloudera Manager

相关 6.2 Cloudera Manager(CDH)安装

相关 Cloudera Manager 之三（安装）

相关 Cloudera Manager 之二（架构）

相关大数据技术之Cloudera Manager安装