走进大数据丨 Kafka（一）

小咪咪 2023-06-19 11:04 15阅读 0赞

**kafka概述**

Kafka是一个分布式，分区的，多副本的，多订阅者，基于zookeeper协调的的分布式日志系统，常见可用于web/nginx日志，消息服务等等。

**Kafka设计目标**

1.以时间复杂度为O(1)的方式提供消息持久化的能力，即使对TB级以上的数据也能保证长时间的访问性能。

2.高吞吐量，即使是非常普通的硬件kafka也可以支持每秒数百万的消息。

3.支持通过Kafka服务器和消费集群分区消息。

4.支持Hadoop并行加装数据。

**消息系统介绍**

一个消息系统负责将数据从一应用传递到另一个数据,应用只需关注于数据,无需关注数据在两个或者多个应用间是如何传递的。分布式消息传递基于可靠的消息队列，在客户端应用和消息系统之间异步传递消息。

有两种主要的消息传递模式：点对点传递模式，发布-订阅模式。大部分消息系统选用发布-订阅模式。Kafka就是一种发布-订阅模式。

**点对点消息传递模式**

在点对点消息系统中,消息持久化到一个队列中。此时，将有一个或者多个消费者消费队列里的数据。但是一条消息只能被消费一次。当一个消费者消费了队列中的某条数据之后，该条消息将从消息队列里删除。该模式即使有多个消费者同时消费数据，也能保证数据处理的顺序。这种架构描述示意图如下：

![format_png][]

**生产者发送一条消息到queue，只有一个消费者能收到。**

**发布-订阅模式**

在发布-订阅消息系统中，消息被持久化到一个topic中。与点对点消息系统不同的是，消费者可以订阅一个或多个topic，消费者可以可以消费该topic内所有的数据，同一条数据可以被多个消费者消费，数据消费后不会立马删除。在发布-订阅消息系统中，消息的生产者称为发布者，消费者称为订阅者。该模式示例图如下：

![format_png 1][]

**发送者发送到topic的消息，只有订阅了topic的订阅者才可会收到消息。**

![format_png 2][]

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sR2x2b0tIblJVTDA2UjRNa3U4TWx1Nm5LcVZpYXF3RGhIQkw4WnFyWHcwZjMzU2FRNTJVY2xDZ0gxQ2xTemdyMDd4aWJldEpCUGZnRVg3QVZROHNLamNRLzY0MD93eF9mbXQ9cG5n?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sR2x2b0tIblJVTDA2UjRNa3U4TWx1Nm5LcVZpYXF3RGhya3JlZ1V4SWtzZ3ZINjBuOUdaUzFFTmNpYTl1dHZrMG5pYWwxdElWU003R3pXV0s1aWFhaExWbUEvNjQwP3d4X2ZtdD1wbmc?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9sR2x2b0tIblJVSjA2Qk1oaEIyRG05REptTG5JZmdtU2RMYmttTmw3M0FoSVgwajlxMURORVlFSFJ0MW54TFZma0F5RkxVSUdwcTY3ajV3aHJiNjBidy82NDA_d3hfZm10PWpwZWc?x-oss-process=image/format,png