安装kafka集群、zookeeper集群

淡淡的烟草味﹌ 2022-12-10 10:09 355阅读 0赞

【安装zookeeper集群】  
一、下载zookeeper  
    https://zookeeper.apache.org/  
    https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz

二、配置zookeeper  
      
    tar -zxvf zookeeper-3.4.14.tar.gz  
    sudo mv zookeeper-3.4.14 /es  
    cd ./zookeeper-3.4.14/conf  
    cp zoo\_sample.cfg zoo.cfg  
    修改zoo.cfg配置文件  
    tickTime=2000  
    initLimit=10  
    syncLimit=5  
    dataDir=/es/data/zookeeper  
    clientPort=2181  
    server.1=192.168.56.104:2888:3888  
    server.2=192.168.56.106:2888:3888  
    server.3=192.168.56.107:2888:3888

＃配置参数说明：    tickTime:客户端与服务器或者服务器与服务器之间每个tickTime时间就会发送一次心跳。通过心跳不仅能够用来监听机器的工作状态，还可以通过心跳来控制Flower跟Leader的通信时间，默认2秒  
    initLimit：集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数（tickTime的数量）。  
    syncLimit：集群中flower服务器（F）跟leader（L）服务器之间的请求和答应最多能容忍的心跳数。     
    dataDir：该属性对应的目录是用来存放myid信息跟一些版本，日志，跟服务器唯一的ID信息等。  
    clientPort：客户端连接的接口，客户端连接zookeeper服务器的端口，zookeeper会监听这个端口，接收客户端的请求访问！这个端口默认是2181。  
    service.N=YYY:A:B  
    N：代表服务器编号（也就是myid里面的值）  
    YYY：服务器地址  
    A：表示 Flower 跟 Leader的通信端口，简称服务端内部通信的端口（默认2888）  
    B：表示 是选举端口（默认是3888）  
      
三、创建zookeeper所需要的目录和myid文件  
    sudo mkdir -p /es/data/zookeeper  
    cd /es/data/zookeeper   
    echo "1" > /es/data/zookeeper/myid \#myid文件，里面的内容为数字，用于标识主机，如果这个文件没有的话，zookeeper无法启动创建名为myid的文件，文件内容为数字  
      
    其他节点配置相同，除以下配置：  
    echo "x" > /es/data/zookeeper/myid \#唯一  
      
    注意这个目录的权限，启动zookeeper的账号必须有权访问和修改  
      
四、启动zookeeper  
    cd /es/zookeeper-3.4.14/bin/  
    ./zkServer.sh start  
    出现如下提示信息，即代表成功。也可以查看目录下生成的zookeeper.out文件内容判断  
    ZooKeeper JMX enabled by default  
    Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg  
    Starting zookeeper ... taSTARTED  
      
五、通过查看端口判断哪台是leader  
    依次在3台机器上执行以下命令  
    ss -nlp | grep -E "2181|2888|3888"  
    哪台机器上存在2888端口，即代表这台机器为leader  
      
    同时可以通过telnet来判断服务是否正常  
    telnet 192.168.56.104 2181  
    telnet 192.168.56.106 2181  
    telnet 192.168.56.107 2181  
      
    也可以通过以下命令查看配置信息  
    echo "stat" | nc 192.168.56.104 2181  
    echo "mntr" | nc 192.168.56.106 2181  \#mntr命令比stat命令详细  
      
六、连接zookeeper  
    cd /es/zookeeper-3.4.14/bin/  
    ./zkCli.sh -server 192.168.56.106:2181  
    进入后，回车进入交互输入框。输入help命令查看支持的命令功能  
    输入quit退出  
      
七、设置jconsole连接zookeeper  
    参考此文档：https://www.cnblogs.com/panwenbin-logs/p/10369402.html

【安装Kafka集群】      
一、下载安装包  
    http://kafka.apache.org/downloads  
    https://www.apache.org/dyn/closer.cgi?path=/kafka/2.6.0/kafka\_2.12-2.6.0.tgz      
      
二、配置kafaka  
    tar -zxvf kafka\_2.12-2.6.0.tgz  
    sudo mv kafka\_2.12-2.6.0 /es  
    cd ./kafka\_2.12-2.6.0/config  
    cp server.properties server.properties-bak  
    修改server.properties配置文件  
    重点修改  
    broker.id=1  \#唯一  
    listeners=PLAINTEXT://192.168.56.104:9092   \#各台机器改成各自IP  
    log.dirs=/es/data/kafka-logs \#数据目录，kafka-logs会自动采集  
    zookeeper.connect=192.168.56.104:2181,192.168.56.106:2181,192.168.56.107:2181  \#zokeeper集群地址，以","为分割  
      
    3台机器都这么修改以下。  
      
    grep "^\[a-Z\]" server.properties \#可以通过这个命令查看配置信息

三、创建kafaka所需要的目录  
    sudo mkdir -p /es/data/kafka-logs  
    sudo chown xxx:xxx /es/data/kafka-logs  
      
四、启动Kafka  
    cd /es/kafka\_2.12-2.6.0/bin  
    ./kafka-server-start.sh ../config/server.properties  \#先用此命令启动，看看有没有报错  
    ./kafka-server-start.sh -daemon ../config/server.properties \#后台运行  
      
五、登录zookeeper判断服务是否正常      
    cd /es/zookeeper-3.4.14/bin/  
    ./zkCli.sh -server 192.168.56.106:2181  
    ls /brokers/ids  \#这时应该能够看到\[1,2,3\]，如果看不到，那就是kafka启动失败了  
    get /brokers/ids/1  \#可以看到1号机器上kafka配置信息  
      
六、创建topic验证  
    cd /es/kafka\_2.12-2.6.0/bin  
    在104机器上  
    ./kafka-topics.sh --create --zookeeper 192.168.56.104:2181 --replication-factor 1 --partitions 1 --topic Test  
    ./kafka-console-producer.sh --broker-list 192.168.56.104:9092  --topic Test  
    在105机器上  
    ./kafka-console-consumer.sh --bootstrap-server 192.168.56.106:9092 --topic Test --from-beginning  
    在104机器上输入任意内容，在105消费机器上可看到输入信息