CenOS7下CM&CDH大数据平台搭建

我不是女神ヾ 2022-05-17 10:16 382阅读 0赞

**目录**

一、CM & CDH简介（\*\*\*了解\*\*\*）

1.Apache Hadoop 不足之处

2.CDH是什么？

3.CDH的优点？

4.CDH版本介绍（\*\*\*了解\*\*\*）

5.CDH版本下载地址

6.CDH支持的安装方式

7.Cloudera Manager（CM）介绍

8.为什么要学习CM？

9.CM & CDH版本下载

二、CM & CDH安装

1.软件环境

2.安装准备

3.CM安装

4.CM启动 & CDH安装

--------------------

## 一、CM & CDH简介（\*\*\*了解\*\*\*） ##

### 1.Apache Hadoop 不足之处 ###

*  版本管理混乱
 *  部署过程繁琐、升级过程复杂
 *  兼容性差
 *  安全性低

### 2.CDH是什么？ ###

*  全称Cloudera’s Distribution Including Apache Hadoop，是面向hadoop的企业级部署，是hadoop发行版本之一。
 *  由Cloudera公司维护，基于稳定版本的Apache Hadoop构建。
 *  提供了Hadoop的核心：可扩展存储、分布式计算。
 *  基于web的用户界面

**hadoop包含很多发行版本，如：**

1.  Apache Hadoop
2.  Cloudera’s Distribution Including Apache Hadoop（CDH）
3.  Hortonworks Data Platform (HDP)
4.  MapR
5.  EMR

...

**Cloudera公司简介：**

1.  是一家位于美国的软件公司，向企业客户提供基于Apache Hadoop的软件、支持、服务以及培训。
2.  出售基于Hadoop的软件，也发布自家版本的Hadoop产品，帮助订阅客户管理数据。
3.  Cloudera还是Apache软件基金会的赞助商。

### 3.CDH的优点？ ###

*  版本划分清晰
 *  版本更新速度快
 *  支持Kerberos安全认证
 *  文档清晰
 *  支持多种安装方式（Cloudera Manager方式）
 *  ### 4.CDH版本介绍（\*\*\*了解\*\*\*） ###
 *  截至目前为止，CDH共有5个版本，其中，前两个已经不再更新。
 *  CDH3：基于hadoop稳定版0.20.2，并集成很多补丁（patch）。
 *  CDH4：基于Hadoop0.23的，但是它采用新的MapReduce，即MapReduce2.0，又叫Yarn。
 *  CDH5：最新版本，目前每隔一段时间便会更新一次。

### 5.CDH版本下载地址 ###

*  CDH3：http://archive.cloudera.com/cdh/3/
 *  CDH4：http://archive.cloudera.com/cdh4/cdh/4/
 *  CDH5：http://archive.cloudera.com/cdh5/cdh/5/

### 6.CDH支持的安装方式 ###

*  yum/apt
 *  tar包/rpm包
 *  Tarball
 *  Cloudera manager
 *  CDH-5.10.1-1.cdh5.10.1.p0.10

### **7.Cloudera Manager****（****CM****）介绍** ###

*  Cloudera Manager是一个管理CDH的端到端的应用。
 *  负责安装软件，配置，启动和停止服务，以及管理上的服务运行群集。
 *  承载管理控制台的Web服务器和应用程序逻辑。

### 8.为什么要学习CM？ ###

*  1000台服务器的集群，最少要花费多长时间来搭建好Hadoop集群，包括Hive、Hbase、Flume、Kafka、Spark等等
 *  只给你一天时间，能否完成以上工作？
 *  对于以上集群进行hadoop版本升级，你会选择什么升级方案，最少要花费多长时间？
 *  与新版本的Hadoop，与Hive、Hbase、Flume、Kafka、Spark等等兼容？

### 9.CM & CDH版本下载 ###

*  http://archive.cloudera.com/cm5/cm/5/（这里以5.10.0版本为例）
 *  http://archive.cloudera.com/cdh5/parcels/5/（这里以5.10.0版本为例）

## 二、CM & CDH安装 ##

### 1.软件环境 ###

*  CentOS7
 *  JDK1.7
 *  mysql5.5
 *  cloudera manager5.10.0
 *  CDH5.10

### 2.安装准备 ###

*  每个节点要3G以上内存，官方推荐主节点64G内存，子节点10G内存这里用每个节点20G为例
 *  配置主机名vi /etc/hostname，其他节点相同操作

master

node1

node2

......

*  ![70][]
 *  配置hosts映射vi /etc/hosts，其他节点相同操作
 *  ![70 1][]
 *  时间同步，所以节点输入date -s "2017-6-13 22:26:00"，统一时间    **也可以设置nftp时间服务器**
 *  ![70 2][]
 *  关闭防火墙
 *  禁用selinux
 *    如果是centos系统，默认会开启selinux
 *  关闭它，打开vi /etc/selinux/config，把SELINUX=enforcing改为SELINUX=disabled后存盘退出，重启机器
 *  ![70 3][]
 *  实现ssh无密通信ssh-keygen -t rsa
 *  ![70 4][]
 *  将秘钥拷到所有节点ssh-copy-id node1
 *  ![70 5][]
 *  所有节点输入 yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb
 *  ![70 6][]
 *  安装mysql5.5，这里直接在master节点安装
 *  mkdir /usr/local/mysql 
 *     看linu是否安装了mysql，经过rpm -qa|grep mysql查看到centos下安装了mysql5.1，那就开始卸载
 *  上传zip，输入 unzip 包名 ，进行解压
 *  ![70 7][]
 *  输入 yum -y remove mariadb-libs-1:5.5.44-2.el7.centos.x86\_64 解决兼容问题
 *   
 *  yum list installed | grep mysql
 *   
 *  如果有，就先全部卸载，命令如下：
 *  yum -y remove mysql-libs.x86\_64
 *  若有多个依赖文件则依次卸载。当结果显示为 Complete！即卸载完毕
 *  ![70 8][]
 *  显示完成，则已经删除依赖。
 *  ![70 9][]
 *   
 *  输入 rpm -ivh MySQL-server-5.5.54-1.el7.x86\_64.rpm MySQL-client-5.5.54-1.el7.x86\_64.rpm MySQL-devel-5.5.54-1.el7.x86\_64.rpm  ，进行安装
 *  ![70 10][]
 *  安装成功后，输入 service mysql start 启动mysql
 *  输入 chkconfig mysql on 设置为开机自启动
 *  输入 mysqladmin -uroot password admin  ，设置密码为admin
 *  输入 mysql -u root -p 进入mysql
 *  ![70 11][]
 *  输入 create database oozie DEFAULT CHARACTER SET utf8; 建库
 *  输入 create database hive DEFAULT CHARACTER SET utf8; 建库
 *  输入 create database manager DEFAULT CHARACTER SET utf8; 建库
 *  输入 create database monitor DEFAULT CHARACTER SET utf8; 建库
 *  输入 GRANT ALL PRIVILEGES ON \*.\* TO 'root'@'master' IDENTIFIED BY 'admin' WITH GRANT OPTION; 远程授权
 *  输入 FLUSH PRIVILEGES; 刷新修改
 *  输入 exit 退出
 *  ![70 12][]
 *  所有节点执行 useradd --system --home=/opt/cloudera-manager/cm-5.4.3/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm  添加用户
 *  ![70 13][]
 *  新建 /usr/share/java 目录，将mysql驱动包放入，并改名为 mysql-connector-java.jar
 *  ![70 14][]
 *  ![70 15][]

### 3.CM安装 ###

*  在master节点输入 /opt/cloudera 新建目录
 *  ![70 16][]
 *  上传tar包到新建的目录并解压
 *  ![70 17][]
 *  输入 vi /opt/cloudera/cm-5.10.0/etc/cloudera-scm-agent/config.ini   修改配置文件中的server.hosts为master，也就是主节点的主机名
 *  ![70 18][]
 *  将mysql的驱动包放入 /opt/cloudera/cm-5.10.0/share/cmf/lib/ 目录
 *  ![70 19][]
 *  将 /opt/cloudera/ 用scp命令同步到所有节点
 *      scp -r /opt/cloudera/ root@node1:/opt/
 *  scp -r /opt/cloudera/ root@node2:/opt/
 *  ![70 20][]
 *  在主节点输入 mkdir /opt/cloudera/parcel-repo/ 新建文件夹，然后输入 chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/赋予权限
 *  在所有从节点输入 mkdir /opt/cloudera/parcels/ 新建文件夹，然后输入 chown cloudera-scm:cloudera-scm /opt/cloudera/parcels/ 赋予权限
 *  将下载好的3个文件（1个json文件和2个parcel文件）上传到主节点的 /opt/cloudera/parcel-repo/ 目录
 *  ![70 21][]
 *  进入主节点的 /opt/cloudera/cm-5.10.0/share/cmf/schema/ 目录，输入 ./scm\_prepare\_database.sh mysql cm -hmaster -uroot -p --scm-host master scm scm scm 初始化数据库
 *  ![70 22][]
 *  看到successfully则表明初始化成功
 *   输入mysql -uroot -p，进入mysql，输入show databases;
 *  ![70 23][]
 *  初始化成功

### 4.CM启动 & CDH安装 ###

*  主节点中进入 /opt/cloudera/cm-5.10.0/etc/init.d/ 目录，输入 ./cloudera-scm-server start 启动服务端，再输入 ./cloudera-scm-agent start 启动agent
 *  在所有从节点进入 /opt/cloudera/cm-5.10.0/etc/init.d/ 目录，输入 ./cloudera-scm-agent start 启动agent
 *  打开浏览器，访问主节点的7180端口，首次启动需要多等待一些时间才能访问到，因为cloudera manager正在初始化一些数据表（有些浏览器可能会无法访问，这里我用谷歌可以访问到这个页面）
 *  进入页面后，用户名和密码都是 admin，点击登陆，如下图
 *  ![70 24][]
 *  进入下图，接受许可，点击继续
 *  ![70 25][]
 *  选择60天试用版本，如下图，然后继续
 *  ![70 26][]
 *  进入下图，点击继续
 *  ![70 27][]
 *  点击选项卡中的“当前管理的主机”，将所有主机都勾选，然后点击继续，如下图
 *  ![70 28][]
 *  进入下图，点击继续
 *  ![70 29][]
 *  等待CM自动安装配置CDH，如下图
 *  ![70 30][]
 *  安装完成后点击继续，检查主机正确性如下图：
 *  ![70 31][]
 *  检验可能遇到以下问题
 *  ![70 32][]
 *  在所有节点输入 sysctl vm.swappiness=10 按照建议，更改交换空间
 *  在所有节点输入 vi /etc/sysctl.conf ，在最后加入 vm.swappiness=10 ，使配置永久生效
 *  ![70 33][]
 *  在所有节点执行 echo never > /sys/kernel/mm/transparent\_hugepage/defrag ，然后点击完成
 *  集群设置，这里我选择自定义，选择自己需要的环境，其他需要依赖的会自动创建，如下图（这里选择了Impala，Oozie，Solr），然后点击继续
 *  ![70 34][]
 *  服务配置一般按默认就可以，如需特殊调整，自行设置，然后点击继续，这里默认配置如下：
 *  ![70 35][]
 *  ![70 36][]
 *  ![70 37][]
 *  ![70 38][]
 *  ![70 39][]
 *  ![70 40][]
 *  ![70 41][]
 *  ![70 42][]
 *  ![70 43][]
 *  接下来数据库设置，输入对应库的名称，用户名和密码，然后点击测试连接，当测试通过后，点击继续
 *  ![70 44][]
 *  接下来是集群审核页面，这里默认就可以，点击继续
 *  ![70 45][]
 *  等待安装，安装完成点击继续，如下图：
 *  ![70 46][]
 *  安装完成如下图，点击完成
 *  ![70 47][]
 *  集群运行状况如下所示：
 *  ![70 48][]
 *   
 *  缺少mysql驱动包会出现：
 *  ![70 49][]
 *  解决：find / -name lib   ，查找hive的lib目录，将驱动包放入
 *   
 *  HDFS的dataNode节点小于副本个数，会出现
 *  ![70 50][]
 *  解决：
 *  增加dataNode节点

[70]: /images/20220517/ac979ddc9ab94be49a3585ed380b9274.png
[70 1]: /images/20220517/7d06a7c7711747d5b29ceb68a90db6f2.png
[70 2]: /images/20220517/23e9078a45a34f789bd6703f245aa11f.png
[70 3]: /images/20220517/15220c06eda14b97a21659e3579c8724.png
[70 4]: /images/20220517/3d31676f338a40ac938980d5d04c6cc5.png
[70 5]: /images/20220517/9ed278a84bb94c449c20fa2716a9de0e.png
[70 6]: /images/20220517/7e027c76a5ff410587316f4cb3452c29.png
[70 7]: /images/20220517/f95e73cd979f4b269d1a173d4731548c.png
[70 8]: /images/20220517/427992c5eecd4b67bb87ee74ec00fdd4.png
[70 9]: /images/20220517/e42638afd4984757977751cec7136eff.png
[70 10]: /images/20220517/175db268935d4f088bf61d23ec3897e4.png
[70 11]: /images/20220517/71a8a596ca854631be0762f75f41fe5c.png
[70 12]: /images/20220517/49145e806bcf43a2aa479fb3110c8675.png
[70 13]: /images/20220517/31756694c1e047a4aa0ba25bda848a27.png
[70 14]: /images/20220517/0eea6c7dd8704f53bd6cb0a2482d2799.png
[70 15]: /images/20220517/494ab4304df747e7a4193402c47c7ded.png
[70 16]: /images/20220517/e6ed7295b8424e71b95e8c3183299e7c.png
[70 17]: /images/20220517/cb183d13764047e4ac23ad86f9830278.png
[70 18]: /images/20220517/877398fc175e45fda2be0a25c2c20cd1.png
[70 19]: /images/20220517/9b25f22896724145a413d23a97f6f65f.png
[70 20]: /images/20220517/680afbc0ca9d47dca356a465c3e7c942.png
[70 21]: /images/20220517/ed99d83abc734b6ea1b492e9668ec94a.png
[70 22]: /images/20220517/51b501ec72344ecda05641b7e43ec06e.png
[70 23]: /images/20220517/ffe8e636070a4c3aa422771e72c474e4.png
[70 24]: /images/20220517/47d0319fb5454450a1a4669f7fcd88ea.png
[70 25]: /images/20220517/64511901823d4581a543db4dac6593f1.png
[70 26]: /images/20220517/604fef38e1b348d6afa3235456bc676a.png
[70 27]: /images/20220517/98663843ebf14569900d31188b8f769c.png
[70 28]: /images/20220517/0ad1222c897546549e3ee0552e68af05.png
[70 29]: /images/20220517/0fc20fb4f77f41f3b7ebb2e81d142c5e.png
[70 30]: /images/20220517/8cc2c26332d548348588b52342ee2cf2.png
[70 31]: /images/20220517/aed67165095645deb472a02b3730ac38.png
[70 32]: /images/20220517/233b14aba4d847b2ba81ee5dffefe410.png
[70 33]: /images/20220517/762198db0a8a494682d6ab81d709f6ec.png
[70 34]: /images/20220517/ec4c6db59d0b4967bb5455b30f339c4d.png
[70 35]: /images/20220517/2ca2cba723f341a1ada9307f614694bd.png
[70 36]: /images/20220517/b5a2c5c3f74b4f059c053bb4b8122e3d.png
[70 37]: /images/20220517/c89ec64b92a647b9a1c48d1a580b0053.png
[70 38]: /images/20220517/0d94e6edc9c34652b387a4f8a9a7ec1a.png
[70 39]: /images/20220517/e1ba2c05c6d44bf0b0f5584710a63a1f.png
[70 40]: /images/20220517/0eea55fbfae24043965c45cad4e44bc4.png
[70 41]: /images/20220517/cf7418b4faa74d0880c4dc528ea93b7f.png
[70 42]: /images/20220517/616c472d0ab54b43b25efb86b15ae2d0.png
[70 43]: /images/20220517/e670dbb9182a4d489d325be015e5cca6.png
[70 44]: /images/20220517/ef2ea6fb6ac947b28023c1bc9a3e9a24.png
[70 45]: /images/20220517/32977551b3d24fa58d851fca505b9a16.png
[70 46]: /images/20220517/2233901242484134a44cd2e692dadee1.png
[70 47]: /images/20220517/fa319d87a22641889a0fd366bef40a98.png
[70 48]: /images/20220517/f6a53d3b3b6142f69c34c0f1187c897e.png
[70 49]: /images/20220517/e682a3d657c944cc80d73bbf926b9e95.png
[70 50]: /images/20220517/77f4195581094cea8e29f8d8c9c2dd96.png