CDH客户端环境搭建

ゞ浴缸里的玫瑰 2022-12-20 05:43 259阅读 0赞

最近遇到一个需求：要使用azkaban对接客户的CDH集群，CDH用的是oozie，azkaban只能部署在我们客户端的机器上，所以需要在客户机上手动搭建CDH的hadoop环境。操作很简单，过程比较麻烦，这里记录一下。

### 文章目录 ###

*   *  一 获取所需CDH rpm包
     *   *  1. 搭建本地CDH package仓库
         *  2. 使用 yumdownloader 获取rpm包
     *  二 安装CDH rpm包
     *  三 配置CDH 环境
     *   *  1. 配置环境变量
         *  2. 添加配置文件
     *  四 验证
     *   *  1. hdfs
         *  2. yarn
         *  3. hbase
         *  4. hive
         *  5. spark

## 一 获取所需CDH rpm包 ##

### 1. 搭建本地CDH package仓库 ###

说明：CDH有两种本地仓库配置方式，package和parcel。官方是推荐使用package，我推荐两种都配置好，CDH还是用parcel。package方式可用于获取rpm包。  
https://docs.cloudera.com/documentation/enterprise/6/latest/topics/cm\_ig\_create\_local\_package\_repo.html  
yum包的下载建议使用idm的站点抓取功能，不要用wget下载

### 2. 使用 yumdownloader 获取rpm包 ###

这一步需要在docker容器环境下进行，这样环境很纯粹，获取到到rpm包更完整，参考：https://blog.csdn.net/alinyua/article/details/108071365

# yum install yum-utils -y
    mkdir cdh-packages && cd cdh-packages 
    yumdownloader --resolve  hadoop-client hbase hive-hbase spark-core
    cd .. && tar -zcf cdh-packages.tar.gz cdh-packages

## 二 安装CDH rpm包 ##

安装时虽然不会有依赖缺少，但可能由于系统版本关系部分系统自带软件版本不一致，我是参考错误提示直接忽略掉，后面也没有遇到问题。

tar -zxf cdh-packages.tar.gz
    yum -y localinstall cdh-packages/*.rpm

## 三 配置CDH 环境 ##

### 1. 配置环境变量 ###

echo "export HADOOP_HOME=/usr/lib/hadoop">> /etc/profile
    echo "export HBASE_HOME=/usr/lib/hbase">> /etc/profile
    echo "export HIVE_HOME=/usr/lib/hive">> /etc/profile
    echo "export SPARK_HOME=/usr/lib/spark">> /etc/profile
    echo "export HADOOP_CONF_DIR=/etc/hadoop/conf/">> /etc/profile
    
    source /etc/profile

### 2. 添加配置文件 ###

在CDH管理界面下载各组件的客户端配置，添加到对应文件夹下  
各组件配置文件位置如下：  
hadoop/yarn: /etc/hadoop/conf/  
hbase: /etc/hbase/conf  
hive: /etc/hive/conf

## 四 验证 ##

输入以下命令对各个组件进行验证

### 1. hdfs ###

hadoop fs -ls /

### 2. yarn ###

yarn node -list

### 3. hbase ###

hbase shell
    
    status

### 4. hive ###

hive shell
    
    show tables;

### 5. spark ###

# 能正确进入即可
    spark-shell

> 如果报错：java.lang.NoSuchMethodError: jline.console.completer.CandidateListCompletionHandler.setPrintSpaceAfterFullCompletion(Z)V  
> 根据：https://issues.apache.org/jira/browse/SPARK-25783  
> 可下载 jline-2.14.3.jar 放到 $SPARK\_HOME/jars 下  
> 下载地址：https://repo1.maven.org/maven2/jline/jline/2.14.3/jline-2.14.3.jar