Kafka介绍之二

蔚落 2024-02-19 15:41 38阅读 0赞

概念: 主题 topic  
**生产业务:**  
oms订单系统–mysql–>flume–>kafka( omstopic ) -->ss1

wms仓库系统–mysql–>flume–>kafka( wmstopic ) -->ss2

**kafka创建主题 一般根据业务系统数据处理来划分  
最终落在磁盘上就是创建文件夹(liunx系统文件夹)**  
topic相当于文件夹  
mkdir omstopic  
mkdir wmstopic  
日志存储在log liunx系统文件

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70]  
一个主题有三个分区（**一个topic是有多个分区，分区可以自己定义**）  
1亿行 omstopic\_0 100W/s log append追加 自身的分区有序的  
omstopic\_1 200W/s log append追加 自身的分区有序的  
omstopic\_2 300W/s log append追加 自身的分区有序的  
**2.每个分区数据是有序的排列**  
**3.随着时间的推移，数据是追加的**

### .Kafka应用场景 ###

1.日志收集：一个公司可以用Kafka可以收集各种服务的log，通过kafka以统一接口服务的方式开放给各种consumer  
2.消息系统：解耦生产者和消费者、缓存消息等  
3.用户活动跟踪：kafka经常被用来记录web用户或者app用户的各种活动，如浏览网页、搜索、点击等活动，这些活动信息被各个服务器发布到kafka的topic中，然后消费者通过订阅这些topic来做实时的监控分析，亦可保存到数据库  
4.运营指标：kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据，生产各种操作的集中反馈，比如报警和报告  
5.流式处理：比如spark streaming和storm；

### Kafka的优势 ###

**高吞吐量、低延迟**：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒  
**可扩展性**：kafka集群支持热扩展  
**持久性、可靠性**：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失  
**容错性**：允许集群中节点故障（若副本数量为n,则允许n-1个节点故障）  
**高并发**：支持数千个客户端同时读写

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/a31c532e93dd4907b7a4027155c94058.png