Kafka核心概念以及监控的选择

怼烎@ 2022-02-23 09:14 249阅读 0赞

`1.核心概念：`

`bin/kafka-topics.sh --create \`

`--zookeeper 192.168.137.141:2181,192.168.137.142:2181,192.168.137.143:2181/kafka \`

`--replication-factor 3 --partitions 3 --topic ruozedata`

`Topic: ruozedata 主题  1----10`

`partitions:  3个分区  下标是从0开始的   物理上的分区`

`replication: 3个副本 指的是一个分区被复制3份`

`3台机器：`

`        ``hadoop001    hadoop002   hadoop003`

`0分区: ruozedata-0  ruozedata-0 ruozedata-0`

`1分区: ruozedata-1  ruozedata-1 ruozedata-1`

`2分区: ruozedata-2  ruozedata-2 ruozedata-2`

`HDFS 一个文件比如130M  BLOCKSIZE:128M 两个块，每个块复制3份`

`[root@hadoop001 bin]# kafka-topics.sh --describe \`

`--zookeeper 192.168.137.141:2181,192.168.137.142:2181,192.168.137.143:2181 \`

`> --zookeeper 192.168.137.141:2181,192.168.137.142:2181,192.168.137.143:2181 \`

`> --topic ruozedata`

`Topic:ruozedata PartitionCount:3        ReplicationFactor:3     Configs:`

`第一行列举这个topic的名称，分区数，副本数`

`        ``Topic: ruozedata        Partition: 0    Leader: 1       Replicas: 1,3,2 Isr: 1,3,2`

`        ``Topic: ruozedata        Partition: 1    Leader: 2       Replicas: 2,1,3 Isr: 2,1,3`

`        ``Topic: ruozedata        Partition: 2    Leader: 3       Replicas: 3,2,1 Isr: 3,2,1`

`kill hadoop003的kafka`

`        ``Topic: ruozedata        Partition: 0    Leader: 1       Replicas: 1,3,2 Isr: 1,2`

`        ``Topic: ruozedata        Partition: 1    Leader: 2       Replicas: 2,1,3 Isr: 2,1`

`        ``Topic: ruozedata        Partition: 2    Leader: 2       Replicas: 3,2,1 Isr: 2,1`

`[root@hadoop001 bin]#`

`Partition: 0`

`Leader: 1  指的是broker.id=1  读写`

`Replicas: 复制该分区数据的节点列表，第一位代表leader  静态表述`

`Isr: in-sync Replicas 正在复制的副本节点列表          动态表述`

`     ``当leader挂了，会从这个列表选举出leader`

`broker:Kafka实例的节点`

`producer: 生产者  flume/maxwell`

`consumer: 消费者  spark streaming/flink`

`producer ---> broker ---> consumer`

`一般生产上:`

`--replication-factor 3 --partitions 3`

`--partitions 取决于你的broker数量`

`--replication-factor 3 --partitions 3`

`kafka机器8个`

`It provides simple parallelism, 1:1 correspondence between Kafka partitions`

`and Spark partitions, and access to offsets and metadata.`

`虽然我们增加了分区数，提高kafka的写和读的吞吐量，但是假如一个集群多个topic，多个分区，`

`必然一台机器上有多个 ruozedata-0  test-0 jepson-0 ,就需要更多的文件数(进程数)，那就要调优`

`consumer group:`

`一个消费组可以包含一个或多个消费者，分区只能被一个消费组的其中一个消费者去消费`

`正常在企业开发使用多分区方式去提高计算的能力`

`offset：偏移量`

`        ``消费时读取一个分区的文件的数据，数据所在的下标`

`分区: 有序`

`多个分区: 无序 (困扰) 无序改怎样解决？ 生产上没有解决 坑`

`0： 1,2,3                                      `

`1： 7,8,9`

`3： 4,5,6`

`    ``1,2,3 7,8,9  4,5,6`

`record：key、 value(业务数据cretime字段)、 timestamp(生产者向broker的插入时间) ，offset   json格式`

`1.按timestamp(生产者向broker的插入时间) 排序`

`2.业务数据cretime字段  排序`

`spark不支持 DF排序会丢失一些信息offset 会导致一连串的无法做到 断点还原`

`apache jira`

`2.常用命令`

`2.1创建`

`bin/kafka-topics.sh --create \`

`--zookeeper 192.168.137.141:2181,192.168.137.142:2181,192.168.137.143:2181/kafka \`

`--replication-factor 3 --partitions 3 --topic test`

`2.2查看`

`bin/kafka-topics.sh --list \`

`--zookeeper 192.168.137.141:2181,192.168.137.142:2181,192.168.137.143:2181/kafka`

`2.3查看某个具体的topic`

`kafka-topics.sh --describe \`

`--zookeeper 192.168.137.141:2181,192.168.137.142:2181,192.168.137.143:2181/kafka \`

`--topic test`

`2.4删除topic`

`[root@hadoop002 kafka]# bin/kafka-topics.sh  --delete \`

`> --zookeeper 192.168.137.141:2181,192.168.137.142:2181,192.168.137.143:2181 \`

`> --topic ruozedata`

`Topic ruozedata is marked for deletion.`

`Note: This will have no impact if delete.topic.enable is not set to true.`

`1.发送和接受数据的实验是否成功？  能`

`假删除:  `

`2.delete.topic.enable=true`

`  ``不生效`

`2.5 调大`

`bin/kafka-topics.sh --alter \`

`--zookeeper 192.168.137.141:2181,192.168.137.142:2181,192.168.137.143:2181 \`

`--partitions 2 --topic zp`

`bin/kafka-topics.sh --alter \`

`--zookeeper 192.168.137.141:2181,192.168.137.142:2181,192.168.137.143:2181 \`

`--partitions 4 --topic zp`

`kafka-topics.sh --describe \`

`--zookeeper 192.168.137.141:2181,192.168.137.142:2181,192.168.137.143:2181 \`

`--topic zp`

`3.监控`

`1.kafka eagle`

`https://github.com/smartloli/kafka-eagle`

`Version 1.2.1`

`*******************************************************************`

`* Kafka Eagle Service has started success!`

`* Welcome, Now you can visit 'http://<your_host_or_ip>:port/ke'`

`* Account:admin ,Password:123456`

`*******************************************************************`

`* <Usage> ke.sh [start|status|stop|restart|stats] </Usage>`

`* <Usage> http://ke.smartloli.org/ </Usage>`

`*******************************************************************`

`2.Grafana  kafka0.10不成功的  kafka0.8`

`prometheus kubernetes`

`           ``kafka`

`采集--》存储--》可视化`

`       ``ES/INFLUXDB`

`数据采集： Metricbeat  `

`数据存储： ES/INFLUXDB`

`数据可视化 Grafana: web dashborad`

Kafka核心概念以及监控的选择

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 Kafka核心概念及核心机制

相关 Kafka 相关核心概念

相关【Kafka】第二篇-Kafka的核心概念及分区消费规则

相关 Kafka核心概念

相关 kafka核心概念与应用场景

相关 kafka核心概念和角色

相关 Kafka的核心概念

相关 Apache Kafka入门教程轻松学- Kafka核心概念

相关 kafka 核心概念及快速入门

相关 Kafka核心概念以及监控的选择