大数据之CDH数仓(3) | CM部署准备

逃离我推掉我的手 2022-12-11 13:48 261阅读 0赞

### 文章目录 ###

*  连接阿里云服务器
 *  修改hosts文件(私有ip)
 *  SSH免密登录
 *  集群同步脚本
 *  集群整体操作脚本
 *  关闭防火墙（阿里云环境可跳过）
 *  关闭SELINUX（阿里云环境可跳过）
 *  配置NTP时钟同步（阿里云环境可跳过）

# 连接阿里云服务器 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center]  
使用xshell连接(公有ip)  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center 2]

# 修改hosts文件(私有ip) #

**`记得在hadoop103，104配置`**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center 3]  
注意：这里每个人不一样，ip填写的是私有ip，做完后ping一下。  
![在这里插入图片描述][20201002102550348.png_pic_center]

# SSH免密登录 #

配置hadoop102对hadoop102、hadoop103、hadoop104三台服务器免密登录。CDH服务开启与关闭是通过server和agent来完成的，所以这里不需要配置SSH免密登录，但是为了我们分发文件方便，在这里我们也配置SSH。  
1）生成公钥和私钥：

[root@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id\_rsa（私钥）、id\_rsa.pub（公钥）  
2）将公钥拷贝到要免密登录的目标机器上

[root@hadoop102 .ssh]$ ssh-copy-id hadoop102
    [root@hadoop102 .ssh]$ ssh-copy-id hadoop103
    [root@hadoop102 .ssh]$ ssh-copy-id hadoop104

3）重复1和2的操作，配置hadoop103对hadoop102、hadoop103、hadoop104三台服务器免密登录。

# 集群同步脚本 #

1）在/root目录下创建bin目录，并在bin目录下创建文件xsync，文件内容如下：

mkdir bin
    cd bin/
    vi xsync

在该文件中编写如下代码

#!/bin/bash
    #1 获取输入参数个数，如果没有参数，直接退出
    pcount=$#
    if((pcount==0)); then
    echo no args;
    exit;
    fi
    
    #2 获取文件名称
    p1=$1
    fname=`basename $p1`
    echo fname=$fname
    
    #3 获取上级目录到绝对路径
    pdir=`cd -P $(dirname $p1); pwd`
    echo pdir=$pdir
    
    #4 获取当前用户名称
    user=`whoami`
    
    #5 循环
    for((host=103; host<105; host++)); do
            echo ------------------- hadoop$host --------------
            rsync -av $pdir/$fname $user@hadoop$host:$pdir
    done

2）修改脚本 xsync 具有执行权限

chmod 777 xsync

# 集群整体操作脚本 #

1）在/root/bin目录下创建脚本xcall.sh

vim xcall.sh

2）在脚本中编写如下内容

#! /bin/bash
    
    for i in hadoop102 hadoop103 hadoop104
    do
            echo --------- $i ----------
            ssh $i "source /etc/profile ; $*"
    done

3）修改脚本执行权限

chmod +x xcall.sh

4）测试

xcall.sh jps

# 关闭防火墙（阿里云环境可跳过） #

阿里云的防火墙默认是关闭的，但是他有web防火墙，我们需要将7180，3306,8888,8889,9870等端口开放。

# 关闭SELINUX（阿里云环境可跳过） #

安全增强型Linux（Security-Enhanced Linux）简称SELinux，它是一个 Linux 内核模块，也是Linux的一个安全子系统。为了避免安装过程出现各种错误，建议关闭，有如下两种关闭方法：  
1）临时关闭（**`不建议使用`**）

[root@hadoop102 ~]# setenforce 0

2）永久关闭（**`建议使用`**）  
修改配置文件/etc/selinux/config

[root@hadoop102 ~]# vim /etc/selinux/config

将SELINUX=enforcing 改为SELINUX=disabled

SELINUX=disabled

3）同步/etc/selinux/config配置文件

xsync /etc/selinux/config

4）重启hadoop102、hadoop103、hadoop104主机

[root@hadoop102 ~]# reboot
    [root@hadoop103 ~]# reboot
    [root@hadoop104 ~]# reboot

# 配置NTP时钟同步（阿里云环境可跳过） #

1）NTP服务器配置

[root@hadoop102 ~]# vi /etc/ntp.conf
    ①注释掉所有的restrict开头的配置
    ②修改#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
    为restrict 192.168.1.102 mask 255.255.255.0 nomodify notrap
    ③将所有server配置进行注释
    ④添加下面两行内容
    server 127.127.1.0
    fudge 127.127.1.0 stratum 10

2）启动NTP服务 service ntpd start

[root@hadoop102 ~]# service ntpd start

3）NTP客户端配置（在agent主机上进行配置hadoop103,hadoop104）

[root@hadoop103 ~]# vi /etc/ntp.conf
    
    ①注释所有restrict和server配置
    ②添加server 192.168.1.102

4）手动测试

[root@hadoop103~]# ntpdate 192.168.1.102

显示如下内容为成功：

17 Jun 15:34:38 ntpdate[9247]: step time server 192.168.1.102 offset 77556618.173854 sec

如果显示如下内容需要先关闭ntpd：

17 Jun 15:25:42 ntpdate[8885]: the NTP socket is in use, exiting

5）启动ntpd并设置为开机自启（每个节点hadoop102，hadoop103，hadoop104）

[root@hadoop103 ~]#  chkconfig ntpd on
    [root@hadoop103 ~]#  service ntpd start

6）使用群发date命令查看结果

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/abfe24c4abaf4ee79740791b240dd2d9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/166445a67d1c475c97734c57f82943ff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/53ed85c3def34bcfa0187aac0dcc0eb3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/38b61dc60e0143e0b426d507307695e6.png
[20201002102550348.png_pic_center]: /images/20221123/06091c5b80e24b62a211d737c1807790.png