搭建分布式平台（zookeeper、kafka、redis、flink）

ゝ一世哀愁。 2021-09-25 03:26 641阅读 0赞

#  #

提示：闲来无事，在公司搭建了一套 zookeeper+kafka+redis

### 文章目录 ###

*  
 *  一、准备工作
 *   *  准备三台或更多机器（虚拟机）
     *  配置网络
     *   *  配置外网(看需求)
         *  修改ip、主机名和防火墙
         *  配置免密登录
         *  时间同步
     *  上传文件
 *  安装文件
 *   *  jdk
     *  zookeeper
     *   *  下载链接
         *  安装
         *  启动zookeeper
     *  kafka
     *   *  安装与配置
         *  启动
     *  Redis
     *   *  Cluster模式的特点
         *  安装redis
         *  单机版
         *   *  启动redis
         *  集群版
         *   *  配置redis
             *  启动redis

--------------------

# 一、准备工作 #

## 准备三台或更多机器（虚拟机） ##

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>node01(192.2.40.250)</th> 
   <th>node02(192.2.40.251)</th> 
   <th>node03(192.2.40.252)</th> 
   <th>node04(暂定)</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>zookeeper</td> 
   <td>√</td> 
   <td>√</td> 
   <td>√</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>kafka</td> 
   <td>√</td> 
   <td>√</td> 
   <td>√</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>redis</td> 
   <td>√</td> 
   <td>√</td> 
   <td>√</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>flink</td> 
   <td>√</td> 
   <td>√</td> 
   <td>√</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

## 配置网络 ##

### 配置外网(看需求) ###

*  使用代理

vi /etc/profile
    
    # 写入以下配置 ip和端口 改为自己所需的
    export http_proxy='http://192.2.40.107:808'
    export https_proxy='https://192.2.40.107:808'
    export ftp_proxy='http://192.2.40.107:808'
    
    # 刷新配置
    source /etc/profile

*  双网卡配置

# 查看双网卡配置
    ifconfig

![双网卡配置信息][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MTYyMDkw_size_16_color_FFFFFF_t_70]

# 可以看到双网卡已经配置完成，接下来只需要 配置路由规则即可。
    
    # 添加默认网关，所有的网络都走外网网关
    route add default gw 192.168.31.1
    # 把10开头的内网ip转到 ens192 也就是内网网关
    route add -net 10.0.0.0 netmask 255.0.0.0 dev ens192
    # 把192.2.40开头的内网ip转到 ens192 也就是内网网关
    route add -net 192.2.40.0 netmask 255.255.255.0 dev ens192

### 修改ip、主机名和防火墙 ###

cd /etc/sysconfig/network-scripts/
    # 修改ip配置
    vim ifcfg-ens192
    
    # 写入以下配置
    TYPE=Ethernet
    BOOTPROTO=static	
    DEFROUTE=yes
    PEERDNS=yes
    PEERROUTES=yes
    IPV4_FAILURE_FATAL=no
    IPV6INIT=yes
    IPV6_AUTOCONF=yes
    IPV6_DEFROUTE=yes
    IPV6_PEERDNS=yes
    IPV6_PEERROUTES=yes
    IPV6_FAILURE_FATAL=no
    IPV6_ADDR_GEN_MODE=stable-privacy
    NAME=ens192
    UUID=8746dd66-f4d1-47a0-aeb3-98128e2cc7bb
    DEVICE=ens192
    ONBOOT=yes				随服务启动
    IPADDR=192.2.40.250		ip地址 以下配置根据实际情况更改 
    NETMASK=255.255.255.0	
    GATEWAY=192.2.40.100    网关
    ZONE=
    DNS1=192.2.40.107
    
    # 接着 重启网络服务
    service network restart
    # 修改主机名
    hostnamectl set-hostname node01
    # 关闭防火墙
    systemctl stop firewalld.service
    	# 禁止firewall开机启动
    	# systemctl restart firewalld.service # 重启防火墙
    firewall-cmd --state 	# 查看防火墙状态
    
    # 配置ip和主机名
    vi /etc/hosts
    # 追加这四条 根据自身ip设定来写
    192.2.40.250 node01
    192.2.40.251 node02
    192.2.40.252 node03
    192.2.40.224 node04

在每台机器上 重复执行以上步骤（当然ip和主机名得根据机器改）

### 配置免密登录 ###

# 配置免密登录
    #在每一台机器上执行
    	ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
    #在主机器(node01)上执行
    	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
    	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
    	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
    #使用 ssh node02 命令测试是否联通
    	exit #退出ssh模式

### 时间同步 ###

yum install ntp # 安装ntp
    ntpdate ntp1.aliyun.com # 使用阿里云同步时间

## 上传文件 ##

在一台主机器上 上传必要安装包，如：jdk、redis等

# 登录发送机 发送文件至 其他节点
    cd /xzy/software
    scp -r jdk-8u241-linux-x64.tar.gz root@node02:/xzy/software/
    scp -r jdk-8u241-linux-x64.tar.gz root@node03:/xzy/software/
    # 也可以登录 接收机，接收文件
    mkdir -p /xzy/software
    cd /xzy/software
    scp -r root@192.2.40.250:/xzy/software/jdk-8u241-linux-x64.tar.gz /xzy/software

其他文件也是如此。

# 安装文件 #

## jdk ##

mkdir -p /usr/local/java
    tar -zxvf /xzy/software/jdk-8u241-linux-x64.tar.gz  -C /usr/local/java
    
    # 修改环境变量
    vi /etc/profile
    # 在最后加上
    	export JAVA_HOME=/usr/local/java/jdk1.8.0_241
    	export JRE_HOME=/usr/local/java/jdk1.8.0_241/jre
    	export CLASS_PATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
    	export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
    	export PATH=$PATH:${JAVA_PATH}
    # 刷新配置文件
    source /etc/profile
    # 验证
    java -version
    java
    javac

## zookeeper ##

### 下载链接 ###

[https://archive.apache.org/dist/zookeeper/zookeeper-3.4.12/][https_archive.apache.org_dist_zookeeper_zookeeper-3.4.12]

### 安装 ###

mkdir -p /usr/local/zookeeper
    tar -zxvf zookeeper-3.4.12.tar.gz -C /usr/local/zookeeper
    cd /usr/local/zookeeper/
    mv zookeeper-3.4.12 zookeeper
    
    # 复制配置文件 并命名为 zoo.cfg (必须叫这个)
    cp /usr/local/zookeeper/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/zookeeper/conf/zoo.cfg
    
    # 创建文件夹
    mkdir /usr/local/zookeeper/zookeeper/datatmp
    mkdir /usr/local/zookeeper/zookeeper/logs
    
    # 修改配置
    vi /usr/local/zookeeper/zookeeper/conf/zoo.cfg
    # 修改以下配置
    		tickTime=2000
    		initLimit=10
    		syncLimit=5
    		dataDir=/usr/local/zookeeper/zookeeper/datatmp
    		dataLogDir=/usr/local/zookeeper/zookeeper/logs
    		clientPort=2181
    		server.1=192.2.40.250:2888:3888
    		server.2=192.2.40.251:2888:3888
    		server.3=192.2.40.252:2888:3888
    		#maxClientCnxns=60
    # 修改环境变量
    vi /etc/profile
    
    export ZK_HOME=/usr/local/zookeeper/zookeeper
    export PATH=$PATH:$ZK_HOME/bin
    	#(如有多个PATH 使用:分割 例如 export PATH=$PATH:${JAVA_PATH}:${ZK_HOME}/bin)
    
    # 创建myid
    #在刚刚zoo.cfg文件中dataDir属性指定的目录（本文中为/usr/local/zookeeper/zookeeper/datatmp）下创建一个myid，在里面添加你指定的server编号，因为这台机器是master，而zoo.cfg中master编号为1(server.1=192.2.40.250:2888:3888)，所以myid内容只需要为1即可。
    cd /usr/local/zookeeper/zookeeper/datatmp
    touch myid
    vi myid
    写入 1

### 启动zookeeper ###

cd /usr/local/zookeeper/zookeeper/bin
    # 启动
    ./zkServer.sh start
    	# 启动成功可以看到：
    	ZooKeeper JMX enabled by default
    	Using config: /usr/local/zookeeper/zookeeper/bin/../conf/zoo.cfg
    	Starting zookeeper ... STARTED
        # 在三台机器上启动 就实现集群
    # 停止
    zkServer.sh stop
    # 查看此节点状态
    zkServer.sh status
    		# 查看信息
    		Mode: follower
    		Mode: leader

## kafka ##

### 安装与配置 ###

cd /xzy/software
    tar zxvf kafka_2.11-2.3.1.tgz -C /usr/local
    cd /usr/local
    mv  kafka_2.11-2.3.1 kafka
    mkdir -p /usr/local/kafka/logs	# 创建日志目录
    
    # 修改环境变量
    vi /etc/profile
    export KAFKA_HOME=/usr/local/kafka
    export PATH=.:${JAVA_HOME}:${ZK_HOME}/bin:$PATH:${KAFKA_HOME}/bin
    
    # 配置kafka
    cd /usr/local/kafka/config
    vi server.properties
    
    # 主要配置：
    	broker.id=1 每个节点必须不同(1,2,3..)
    	listeners=PLAINTEXT://192.2.40.250:9092 //分别绑定各节点服务器ip地址
    	log.dirs=/usr/local/kafka/logs
    	num.partitions=1 
    	zookeeper.connect=node01:2181,node02:2181,node03:2181 //zookeeper集群连接

### 启动 ###

# 启动kafka 前提 必须启动zookeeper
    /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
    # 后台启动
    nohup /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties 1>/dev/null 2>&1 &
    
    # 通过jps命令查看是否启动
     jpa
    	5745 Kafka
    	4805 QuorumPeerMain
    	6104 Jps
    # 停止kafka
    cd /usr/local/kafka/bin/
    ./kafka-server-stop.sh

## Redis ##

> 这里采用**Cluster模式**搭建集群，相比于 *哨兵模式* 和 *主从模式* ，Cluster模式更为全面。  
> 通过cluster可以实现主从和master重选功能，所以如果配置两个副本三个分片的话，就需要六个Redis实例。因为Redis的数据是根据一定规则分配到cluster的不同机器的，当数据量过大时，可以新增机器进行扩容。使用集群，只需要将redis配置文件中的cluster-enable配置打开即可。每个集群中至少需要三个主数据库才能正常运行，新增节点非常方便。

### Cluster模式的特点 ###

*  多个redis节点网络互联，数据共享
 *  所有的节点都是一主一从（也可以是一主多从），其中从不提供服务，仅作为备用
 *  不支持同时处理多个key（如MSET/MGET），因为redis需要把key均匀分布在各个节点上;并发量很高的情况下同时创建key-value会降低性能并导致不可预测的行为
 *  支持在线增加、删除节点
 *  客户端可以连接任何一个主节点进行读写

### 安装redis ###

cd /xzy/software
    # 在线下载 需配置外网
    wget http://download.redis.io/releases/redis-5.0.4.tar.gz
    # 解压到指定目录
    tar zxf redis-5.0.4.tar.gz && mv redis-5.0.4/ /usr/local/redis
    cd /usr/local/redis
    
    # 编译
    make
    cd src
    #安装
    make install
    
    # 注意：如果报gcc未找到可以通过安装gcc来解决
    	yum install gcc-c++ -y
    # 注意：如果 make 时报错：致命错误:jemalloc/jemalloc.h:没有那个文件或目录:使用指令： 
    	make MALLOC=libc

### 单机版 ###

#### 启动redis ####

# 进入src目录下
    # 启动服务
    ./redis-server
    # 启动客户端
    ./redis-cli

### 集群版 ###

#### 配置redis ####

mkdir /usr/local/redis/cluster
    # 不同机器 不同的端口和文件夹命名
    cp /usr/local/redis/redis.conf /usr/local/redis/cluster/redis_7001.conf
    cp /usr/local/redis/redis.conf /usr/local/redis/cluster/redis_7002.conf
    mkdir -p /usr/local/redis/data/cluster/{ redis_7001,redis_7002}
    
    # 修改配置
    vim /usr/local/redis/cluster/redis_7001.conf
    	bind 192.2.40.250
    	port 7001
    	daemonize yes
    	pidfile "/var/run/redis_7001.pid"
    	logfile "/usr/local/redis/cluster/redis_7001.log"
    	dir "/usr/local/redis/data/cluster/redis_7001"
    	#replicaof 192.168.30.129 6379
    	masterauth 123456						#masterauth作用：主要是针对master对应的slave节点设置的，在slave节点数据同步的时候用到。
    	requirepass 123456						#requirepass作用：对登录权限做限制，redis每个节点的requirepass可以是独立、不同的。
    	appendonly yes    						#700 多行
    	cluster-enabled yes						#840 多行
    	cluster-config-file nodes_7001.conf
    	cluster-node-timeout 15000

同理，在各个机器上 分别创建和修改文件。  
`scp -r redis-5.0.4.tar.gz root@node02:/xzy/software/`  
`scp -r redis-5.0.4.tar.gz root@node03:/xzy/software/`

#### 启动redis ####

# 启动集群版redis server：
    redis-server /usr/local/redis/cluster/redis_7001.conf
    # 查看启动日志
    # tail -f /usr/local/redis/cluster/redis_7001.log
    redis-server /usr/local/redis/cluster/redis_7002.conf	
    # tail -f /usr/local/redis/cluster/redis_7002.log
    
    # 查看端口情况
    netstat -tunlp|grep 7001
    # 在各个节点都启动redis服务
    
    # 构建集群
    redis-cli -a 123456 --cluster create 192.2.40.250:7001 192.2.40.250:7002 192.2.40.251:7003 192.2.40.251:7004 192.2.40.252:7005 192.2.40.252:7006 --cluster-replicas 1
    # 查看情况
    cd /usr/local/redis/data/cluster/redis_7001
    # 自动生成了 nodes-7001.conf 
    # 可以查看节点信息
    cat nodes_7001.conf 
    
    # 都完成后 登录集群
    cd /usr/local/redis/src
    redis-cli -c -h 192.2.40.250 -p 7001 -a 123456	
    # 查看集群信息
    CLUSTER INFO

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MTYyMDkw_size_16_color_FFFFFF_t_70]: /images/20210923/1e653662a0a146fb932a2ecfd36eef6e.png
[https_archive.apache.org_dist_zookeeper_zookeeper-3.4.12]: https://archive.apache.org/dist/zookeeper/zookeeper-3.4.12/