Kafka的安装部署（分布式部署安装）

布满荆棘的人生 2024-02-19 15:42 75阅读 0赞

**官网：[http://kafka.apache.org/quickstart][http_kafka.apache.org_quickstart]**

**Kafka强依赖ZK**，如果想要使用Kafka，就必须安装ZK，Kafka中的消费偏置信息、kafka集群、topic信息会被存储在ZK中。有人可能会说我在使用Kafka的时候就没有安装ZK，那是因为Kafka内置了一个ZK，一般我们不使用它。

kafka 在CDH当中kafka是独立分支（跟zookeeper的版本可以不一样）

## 一：准备工作 ##

### **1.zookeeper部署**![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70] ###

[root@yws85 zookeeper-3.4.6]# bin/zkServer.sh status
    JMX enabled by default
    Using config: /opt/software/zookeeper-3.4.6/bin/../conf/zoo.cfg
    Mode: follower
    [root@yws85 zookeeper-3.4.6]# 
    [root@yws86 zookeeper-3.4.6]#  bin/zkServer.sh status
    JMX enabled by default
    Using config: /opt/software/zookeeper-3.4.6/bin/../conf/zoo.cfg
    Mode: leader
    [root@yws86 zookeeper-3.4.6]# 
    [root@yws87 zookeeper-3.4.6]#  bin/zkServer.sh status
    JMX enabled by default
    Using config: /opt/software/zookeeper-3.4.6/bin/../conf/zoo.cfg
    Mode: follower
    [root@yws87 zookeeper-3.4.6]#

**如何看kafka\_2.11 - 0.10.0.1.tgz**  
scala 是 2.11 版本  
kafak是 0.10.0.1 kafka版本（生产上用0.10版本足以，没有必要使用官网提供的更高版本，生产求稳，）  
**问题：那为什么非得选择0.10.这个版本呢**

kafka 后面对接Spark Streaming  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70 1]  
网址连接：[http://spark.apache.org/docs/latest/streaming-kafka-integration.html][http_spark.apache.org_docs_latest_streaming-kafka-integration.html]

### 2.JDK部署 ###

### 3. scala部署 ###

scala-2.11.8.tgz
    tar -xzvf scala-2.11.8.tgz（解压）
    chown -R scala-2.11.8（修改权限）
    ln -s scala-2.11.8 scala（设置软连接）
    （配置环境变量）
    export SCALA_HOME=/opt/software/scala-2.11.8
    export PATH=$SCALA_HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$FLINK_HOME/bin:$PATH

### 4.事先有的zk，不确定zk是否有kafka残留信息 ###

cd zookeeper/bin  
./zkCli.sh  
ls / (根目录看一下有没有)  
help  
rmr /kafka

[zk: localhost:2181(CONNECTED) 2] ls /kafka 
    [controller_epoch, brokers, admin, isr_change_notification, consumers, config]
    [zk: localhost:2181(CONNECTED) 3] rmr /kafka

生产上很常见，一旦kafka出现问题，需要重新部署的时候，一定要清理干净在部署

### 二：下载 ###

**kafka下载网址：[http://mirrors.hust.edu.cn/apache/kafka/0.10.2.2/][http_mirrors.hust.edu.cn_apache_kafka_0.10.2.2]**

[root@yws87 kafka]# mkdir logs  （创建存储目录）
    
    [root@yws87 config]# vi server.properties （相当于broker配置服务端）
    # The id of the broker. This must be set to a unique integer for each broker.
    broker.id=3
    port=9092
    host.name=192.168.0.87
    日志
    # A comma seperated list of directories under which to store log files
    log.dirs=/opt/software/kafka/logs
    （这里之前使用了软连接，操作方便，如果版本多更容易乱）
    zookeeper关联（本身带zookeeper，这里会有默认配置，我们是集群这里要进行如下配置）
    zookeeper.connect=192.168.0.85:2181,192.168.0.86:2181,192.168.0.87:2181/kafka
    注意：/kafka我们在这里加了一个这个，，
    原因：是因为kafka文件下有很多文件夹。这样操作更方便管理，和日后删除
    
    然后scp复制到另外2台机器，在配置文件中更改

### 三：启动 ###

[root@yws87 kafka]# nohup bin/kafka-server-start.sh config/server.properties  &
    [1] 19455
    [root@yws87 kafka]# nohup: ignoring input and appending output to ‘nohup.out’
    
    [root@yws87 kafka]# 
    [root@yws87 kafka]# tail -F nohup.out 
    [root@yws87 config]# jps
    21234 Jps
    10590 QuorumPeerMain
    19455 Kafka

[http_kafka.apache.org_quickstart]: http://kafka.apache.org/quickstart
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/77042f4fd86d4685a7b19935d232d350.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/b9114c5c188c49349e1aa4155d4d5d78.png
[http_spark.apache.org_docs_latest_streaming-kafka-integration.html]: http://spark.apache.org/docs/latest/streaming-kafka-integration.html
[http_mirrors.hust.edu.cn_apache_kafka_0.10.2.2]: http://mirrors.hust.edu.cn/apache/kafka/0.10.2.2/