cdh5.10安装——入门教程

╰半橙微兮° 2022-06-18 01:13 314阅读 0赞

# cdh5.10安装——入门教程 #

首先介绍一下cdh是什么。cdh是用来集中管理hadoop集群的工具。它在hadoop上进行了封装，提供了webUI界面对集群的状态进行监控和操作。

下面介绍一下cdh安装时都需要安装什么。

1、cloudera-manager提供管理集群的功能。

2、安装好cloudera-manager之后，可以通过图形界面安装parcel，然后再安装hadoop等。

好，下面上货：

1、设置hosts文件（三台机器上）：

192.168.0.81    cdh1   
192.168.0.82    cdh2       
192.168.0.83    cdh3

2、关闭防火墙

使用set，关闭防火墙（三台机器）。

3、关闭selinux

vim /etc/selinux/config

SELINUX=disabled

4、设置开机模式为3

vim /etc/inittab

5、查看是否关闭了selinux

getenforce

6、设置ssh免密码登录

ssh-kengen -t rsa

ssh-copy-id root@cdh1

7、查看ntp服务器是否同步

ntpq -p

8、参考B类的安装说明：https://www.cloudera.com/documentation/manager/5-1-x/Cloudera-Manager-Installation-Guide/cm5ig\_install\_path\_B.html  
  
  
9、下载需要的rpm包  
http://archive.cloudera.com/cm5/redhat/6/x86\_64/cm/5.10/RPMS/x86\_64/

[http://archive.cloudera.com/cm5/redhat/7/x86\_64/cm/5.10/RPMS/x86\_64/][http_archive.cloudera.com_cm5_redhat_7_x86_64_cm_5.10_RPMS_x86_64]  
  
  
11、安装java1.7

yum localinstall jdk-\*\*\*

12、安装mysql（参考：[https://blog.csdn.net/wild46cat/article/details/78957410][https_blog.csdn.net_wild46cat_article_details_78957410]）  
yum install mysql-server  
==============================  
安装配置MySql（主节点）  
  
通过 yum install MySQL-server 安装mysql服务器。  
chkconfig mysqld on 设置开机启动(或者setup也行)，  
并 service mysqld start 启动mysql服务，  
并根据提示设置root的初试密码： mysqladmin -u root password '123456' 。   
  
mysql -uroot -p123456 进入mysql命令行，创建以下数据库：   
  
\#cmf

create database cmf DEFAULT CHARSET utf8 COLLATE utf8\_general\_ci;  
\#hive  
create database hive DEFAULT CHARSET utf8 COLLATE utf8\_general\_ci;  
\#activity monitor  
create database amon DEFAULT CHARSET utf8 COLLATE utf8\_general\_ci;  
设置root授权访问以上所有的数据库：  
  
  
\#授权root用户在主节点拥有所有数据库的访问权限  
grant all privileges on \*.\* to 'root'@'%' identified by '123456' with grant option;  
flush privileges;  
==============================

13、安装server端的rpm包。

13.1安装oracle-j2sdk-1.7  
yum localinstall oracle-j2sk-1.7

13.2安装cloudera manager Server Package  
sudo yum --nogpgcheck localinstall cloudera-manager-daemons-\*.rpm  
sudo yum --nogpgcheck localinstall cloudera-manager-server-\*.rpm

13.3修改/etc/cloudera-scm-server/db.properties文件

# Copyright (c) 2012 Cloudera, Inc. All rights reserved.
    #
    # This file describes the database connection.
    #
    
    # The database type
    # Currently 'mysql', 'postgresql' and 'oracle' are valid databases.
    com.cloudera.cmf.db.type=mysql
    
    # The database host
    # If a non standard port is needed, use 'hostname:port
    com.cloudera.cmf.db.host=192.168.0.81:3306
    
    # The database name
    com.cloudera.cmf.db.name=cmf
    
    # The database user
    com.cloudera.cmf.db.user=root
    
    # The database user's password
    com.cloudera.cmf.db.password=123456
    
    # The db setup type
    # By default, it is set to INIT
    # If scm-server uses Embedded DB then it is set to EMBEDDED
    # If scm-server uses External DB then it is set to EXTERNAL
    com.cloudera.cmf.db.setupType=EXTERNAL

13.4安装客户端代理(这个需要在你需要配置集群的机器上安装，这里我选择每台机器都安装)  
sudo yum --nogpgcheck localinstall cloudera-manager-agent-package.\*.x86\_64.rpm cloudera-manager-daemons  
  
13.5修改/etc/cloudera-scm-agent/config.ini  
主要修改的是server的ip。设置为本次管理端的ip。  
  
13.6复制mysql的connector的jar包到文件夹下  
/usr/share/cmf/lib/

14、启动的时候使用命令  
service cloudera-scm-server start  
  
15、tail /var/log/cloudera-scm-server/cloudera-scm-server.log  
读取这个文件的最后，当初始化完成后，会出现如下内容：

====================  
2017-03-14 23:26:48,103 INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.  
2017-03-14 23:26:54,332 INFO SearchRepositoryManager-0:com.cloudera.server.web.cmf.search.components.SearchRepositoryManager: Finished constructing repo:2017-03-14T15:26:54.332Z  
====================

16、能够正常运行后，可以考虑换用mysql作为元数据的存储。修改文件

/etc/cloudera-scm-server/db.mtgt.properties  /etc/cloudera-scm-server/db.properties

后记：

记得一定把内置的数据库修改成mysql的，不然不能在生产环境中使用。

如果启动服务后出现错误，一般可能是mysq错误，这个时候可以查找一下mysql的错误是因为什么。比较一般的错误是权限错误。

常见问题，比较常见的问题。

首先是没有msyql的jar包，这个jar包的位置放在

\[JDBC\]

cloudera\_mysql\_connector\_jar=/usr/share/java/mysql-connector-java.jar

这个配置在/etc/cloudera-scm-agent/config.ini中。把原来前面的注释放开，然后把jar包放在这个路径下。注意是每台主机都需要放置。

最后，贴一张图：

![Center][]

[http_archive.cloudera.com_cm5_redhat_7_x86_64_cm_5.10_RPMS_x86_64]: http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.10/RPMS/x86_64/
[https_blog.csdn.net_wild46cat_article_details_78957410]: https://blog.csdn.net/wild46cat/article/details/78957410
[Center]: /images/20220618/13a63d4e74d44d25adfb1b17d6971ec6.png