Linux 系列安装kafka

╰半橙微兮° 2022-09-15 12:56 223阅读 0赞

### Linux 系列 安装kafka ###

*  缘起
 *   *  步骤一：下载安装包
     *  步骤二：安装

# 缘起 #

公司要做一个产品，做产品之前当然是搭建环境了，大部分环境之前都有写过，今天顺手来写一下 kafka的安装。

## 步骤一：下载安装包 ##

下载kafka安装包，我的是kafka\_2.11-2.1.1，不过最新版本和之前的版本有些区别，启动消费者的命令变了，命令里面的`--zookeeper`换成了`--bootstrap-server`，注意自己的版本。

安装包地址：`https://www.apache.org/dyn/closer.cgi?path=/kafka/3.0.0/kafka_2.12-3.0.0.tgz`  
点进去之后是这个界面，选择自己能下载的镜像下载  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Yaw5aSP5LmL5aSc5b2x_size_20_color_FFFFFF_t_70_g_se_x_16]  
如果不知道怎么选，可以在下面点击下载：

<table> 
 <thead> 
  <tr> 
   <th>名称</th> 
   <th>下载地址</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>kafka_2.12-3.0.0.tgz</td> 
   <td>https://mirrors.bfsu.edu.cn/apache/kafka/3.0.0/kafka_2.12-3.0.0.tgz</td> 
  </tr> 
  <tr> 
   <td>kafka_2.13-3.0.0.tgz</td> 
   <td>https://dlcdn.apache.org/kafka/3.0.0/kafka_2.13-3.0.0.tgz</td> 
  </tr> 
 </tbody> 
</table>

为了方便下载，我又上传到了自己的百度云上，共享地址：  
链接: `https://pan.baidu.com/s/1GQmdqFtJbajoBm6FJ1igJw` 提取码: `35si`

然后通过命令下载或上传，上传的就不说了，下载命令如下：

#下载命令如下：
    [root@localhost kanq]# wget https://mirrors.bfsu.edu.cn/apache/kafka/3.0.0/kafka_2.12-3.0.0.tgz --no-check-certificate
    #返回结果如下：
    --2021-10-12 03:06:16--  https://mirrors.bfsu.edu.cn/apache/kafka/3.0.0/kafka_2.12-3.0.0.tgz
    Resolving mirrors.bfsu.edu.cn (mirrors.bfsu.edu.cn)... 39.155.141.16, 2001:da8:20f:4435:4adf:37ff:fe55:2840
    Connecting to mirrors.bfsu.edu.cn (mirrors.bfsu.edu.cn)|39.155.141.16|:443... connected.
    WARNING: cannot verify mirrors.bfsu.edu.cn's certificate, issued by ‘/C=US/O=Let's Encrypt/CN=R3’:
      Issued certificate has expired.
    HTTP request sent, awaiting response... 200 OK
    Length: 86486610 (82M) [application/octet-stream]
    Saving to: ‘kafka_2.12-3.0.0.tgz’
    
    100%[==========================================================================================================================>] 86,486,610  27.0MB/s   in 3.2s   
    
    2021-10-12 03:06:19 (26.0 MB/s) - ‘kafka_2.12-3.0.0.tgz’ saved [86486610/86486610]

## 步骤二：安装 ##

安装其实很简单，将安装包解压后，通过命令启动即可。  
将文件放入服务器，解压，命令：

[root@localhost kanq]# tar -zxvf kafka_2.12-3.0.0.tgz 
    [root@localhost kanq]# ll
    drwxr-xr-x 7 root root       98 Sep  8 14:24 kafka_2.12-3.0.0
    -rw-r--r-- 1 root root 86486610 Sep 20 01:46 kafka_2.12-3.0.0.tgz

下载完后将进入文件夹，如图：

[root@localhost kafka_2.12-3.0.0]# ll
    total 68
    drwxr-xr-x 3 root root  4096 Sep  8 14:24 bin
    drwxr-xr-x 3 root root  4096 Sep  8 14:24 config
    drwxr-xr-x 2 root root  8192 Oct 12 03:08 libs
    -rw-r--r-- 1 root root 14521 Sep  8 14:21 LICENSE
    drwxr-xr-x 2 root root  4096 Sep  8 14:24 licenses
    -rw-r--r-- 1 root root 28184 Sep  8 14:21 NOTICE
    drwxr-xr-x 2 root root    43 Sep  8 14:24 site-docs

*文件夹介绍*：

<table> 
 <thead> 
  <tr> 
   <th>文件夹</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>bin</td> 
   <td>启动目录</td> 
  </tr> 
  <tr> 
   <td>config</td> 
   <td>配置文件</td> 
  </tr> 
  <tr> 
   <td>libs</td> 
   <td>库文件</td> 
  </tr> 
 </tbody> 
</table>

\*介绍完目录，现在我们来启动zookeeper和kafka，注意：先`启动zookeeper，再启动kafka`，命令如下：

#启动zookeeper
    [root@localhost kafka_2.12-3.0.0]# ./bin/zookeeper-server-start.sh ./config/zookeeper.properties 
    #启动kafka
    [root@localhost kafka_2.12-3.0.0]# ./bin/kafka-server-start.sh ./config/server.properties

如果启动没有报错就是启动成功，然后就是生产者和消费者命令：

#生产者，发送hello ,I am producer!
    [root@localhost kafka_2.12-3.0.0]# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic iceter
    >hello ,I`m producer! #打开新窗口，消费者窗口就会显示：hello ,I am producer [root@localhost kafka_2.12-3.0.0]# ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic iceter --from-beginning hello ,I`m producer!

想来想去，还是最后再写配置文件，因为配置文件不改也能启动成功（`启动成功后就懒得写配置文件了，哈哈哈`）。  
我们来看看配置文件，配置文件目录如下：

[root@localhost config]# ll
    total 72
    -rw-r--r-- 1 root root  906 Sep  8 14:21 connect-console-sink.properties
    -rw-r--r-- 1 root root  909 Sep  8 14:21 connect-console-source.properties
    -rw-r--r-- 1 root root 5475 Sep  8 14:21 connect-distributed.properties
    -rw-r--r-- 1 root root  883 Sep  8 14:21 connect-file-sink.properties
    -rw-r--r-- 1 root root  881 Sep  8 14:21 connect-file-source.properties
    -rw-r--r-- 1 root root 2103 Sep  8 14:21 connect-log4j.properties
    -rw-r--r-- 1 root root 2540 Sep  8 14:21 connect-mirror-maker.properties
    -rw-r--r-- 1 root root 2262 Sep  8 14:21 connect-standalone.properties
    -rw-r--r-- 1 root root 1221 Sep  8 14:21 consumer.properties
    drwxr-xr-x 2 root root   98 Sep  8 14:21 kraft
    -rw-r--r-- 1 root root 4674 Sep  8 14:21 log4j.properties
    -rw-r--r-- 1 root root 1925 Sep  8 14:21 producer.properties
    -rw-r--r-- 1 root root 6849 Sep  8 14:21 server.properties
    -rw-r--r-- 1 root root 1032 Sep  8 14:21 tools-log4j.properties
    -rw-r--r-- 1 root root 1169 Sep  8 14:21 trogdor.conf
    -rw-r--r-- 1 root root 1205 Sep  8 14:21 zookeeper.properties

**此处我们需要关注的文件有下面这些**：  
`zookeeper.properties（zookeeper配置）`  
`server.properties（kafka配置文件）`  
`producer.properties（生产者配置）`  
`consumer.properties（消费者配置）`

看完配置文件发现没什么好说的，以后有什么要说的再补充吧，上面对应的配置文件记住就行了，以后需要配置什么就找对应的配置文件编辑就行。

**蜚语**：`千里路途我只陪你一程，从此风雪艳阳我都不再过问。`

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Yaw5aSP5LmL5aSc5b2x_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/3d10b3b1c01348efb711c0186565e6a4.png