Kafka之单机安装|第一章-yellowcong

一时失言乱红尘 2022-03-09 08:49 301阅读 0赞

> 单机的kafka安装比较的简单，直接安装好zookeeper和kafka启动即可启动服务。

## 下载地址 ##

http://kafka.apache.org/downloads
    
    #下载kafka服务
    wget https://archive.apache.org/dist/kafka/0.10.1.1/kafka_2.11-0.10.1.1.tgz

### 配置server.properties ###

主要修改listeener 以及zookeeper以及 zookeeper的连接的配置。

############################# Socket Server Settings #############################
    
    # The address the socket server listens on. It will get the value returned from 
    # java.net.InetAddress.getCanonicalHostName() if not configured.
    # FORMAT:
    # listeners = security_protocol://host_name:port
    # EXAMPLE:
    # listeners = PLAINTEXT://your.host.name:9092
    listeners=PLAINTEXT://192.168.100.10:9092
    
    
    ############################# Log Basics #############################
    
    # A comma seperated list of directories under which to store log files
    log.dirs=/data/kafka_data/logs
    
    
    ############################# Zookeeper #############################
    
    # Zookeeper connection string (see zookeeper docs for details).
    # This is a comma separated host:port pairs, each corresponding to a zk
    # server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".
    # You can also append an optional chroot string to the urls to specify the
    # root directory for all kafka znodes.
    zookeeper.connect=localhost:2181
    
    # Timeout in ms for connecting to zookeeper
    zookeeper.connection.timeout.ms=6000

### 配置etc/profile ###

export KAFKA_HOME=/usr/local/kafka 
    export ZK_HOME=/usr/local/zookeeper
    export PATH=$PATH:$KAFKA_HOME/bin:$ZK_HOME/bin

![在这里插入图片描述][20190313150231589.png]

### 2. 启动服务 ###

通过nohup启动服务的时候，最好把路径写全了，不然就不知道是哪儿的相对路径了。

#启动zookeeper服务器
    nohup zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties  >/dev/null 2>&1 &
    
    #后台启动kafka服务器
    nohup kafka-server-start.sh /usr/local/kafka/config/server.properties > /dev/null 2>&1 &
    
    #后台启动
    kafka-server-start.sh -daemon  config/server.properties

### 3. 添加topic ###

这个地方 zookeeper 的配置需要同server端的zookeeper.connect的配置相同。

#--replication-factor 备份数
    # 对数据要求不高得 写个1 即可，高得写3 ，5 就差不都了，过多会影响性能
    #--partitions 分区数  
    # 分区数， 取决于你这个topic有多大得并发量， 1s钟多少mb 得流量
    
    kafka-topics.sh --create --replication-factor 1 --partitions 1 --topic test --zookeeper localhost:2181
    
    #查看topic信息
    kafka-topics.sh --list --zookeeper localhost:2181

### 4 . 配置生产者 ###

添加生产者，可以直接发送消息

kafka-console-producer.sh --broker-list localhost:9092 --topic test
    
    #多条生产者得情况
    kafka-console-producer.sh --broker-list 192.168.100.10:9092,192.168.100.11:9092,192.168.100.12:9092  --topic test

![在这里插入图片描述][20190313150912694.png]

### 5.消费者 ###

添加消费者，可以测试生产者和消费者是否是通的。

#通过zookeeper来测试 消费情况
    kafka-console-consumer.sh --zookeeper localhost:2181 --topic test
    
    #多个zookeeper得情况
    kafka-console-consumer.sh --zookeeper 192.168.100.10:2181,192.168.100.11:2181,192.168.100.12:2181 --topic test
    
    # 通过kafka服务来启动消费
    #消费者
    #通过启动服务来查看消费信息
    #--from-beginning 从头开始 ， 默认是看offset 未消费得，才会接着消费
    kafka-console-consumer.sh --bootstrap-server 192.168.100.10:9092,192.168.100.11:9092,192.168.100.12:9092 --topic test --from-beginning

![在这里插入图片描述][20190313150927457.png]

### 6. 查看消费情况 ###

kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic test --time -1

![在这里插入图片描述][20190313150458490.png]

## 常见问题 ##

### 1 ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: replication factor: 1 larger than available brokers: 0 ###

导致这个问题的原因是由于zookeeper的配置有问题 ，我们配置的zookeeper节点是 `localhost:2181`，而我们引用的zookeeper 地址是 `localhost:2181/kafka`

kafka-topics.sh --create --replication-factor 1 --partitions 1 --topic test --zookeeper localhost:2181/kafka

![在这里插入图片描述][20190312200104314.png]

## 参考文章 ##

https://www.cnblogs.com/adolfmc/p/7345333.html  
https://blog.csdn.net/g1219371445/article/details/78828915

[20190313150231589.png]: /images/20220309/b33cff13955a4f28aa125941283b303b.png
[20190313150912694.png]: /images/20220309/ce88623035504852b8174a3db87d5303.png
[20190313150927457.png]: /images/20220309/80bf89d37804457a8ea6b8663a1676fc.png
[20190313150458490.png]: /images/20220309/b626f68443f6433b9c8c88263f3500a4.png
[20190312200104314.png]: /images/20220309/a85018112bdf416b9970e77dafd80496.png