【Kafka】Apache Kafka消息队列架构进阶篇

雨点打透心脏的1/2处 2023-10-05 12:26 32阅读 0赞

#### 指路牌 ####

*   *  Kafka架构进阶
     *   *  Kafka-Eagle(鹰眼)
         *  Flume&Kafka
         *  Spring Boot & Kafka

### Kafka架构进阶 ###

#### Kafka-Eagle(鹰眼) ####

这是一个监视系统，监视您的kafka群集以及可视的使用者线程，偏移量，所有者等。当您安装Kafka Eagle时，用户可以看到当前的使用者组，对于每个组，他们正在消耗的Topic以及该组在每个主题中的偏移量，滞后，日志大小和位置。这对于了解用户从消息队列消耗的速度以及消息队列增加的速度很有用。

> 下载地址：https://codeload.github.com/smartloli/kafka-eagle-bin/tar.gz/v1.4.0

安装

[root@CentOS ~]# tar -zxf kafka-eagle-web-1.4.0-bin.tar.gz -C /usr/
    [root@CentOS ~]# mv /usr/kafka-eagle-web-1.4.0 /usr/kafka-eagle
    [root@CentOS ~]# vi .bashrc
    KE_HOME=/usr/kafka-eagle
    M2_HOME=/usr/apache-maven-3.6.3
    SQOOP_HOME=/usr/sqoop-1.4.7
    HIVE_HOME=/usr/apache-hive-1.2.2-bin
    JAVA_HOME=/usr/java/latest
    HADOOP_HOME=/usr/hadoop-2.9.2/
    HBASE_HOME=/usr/hbase-1.2.4/
    ZOOKEEPER_HOME=/usr/zookeeper-3.4.6
    PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$M2_HOME/bin:$HIVE_HOME/bin:$SQOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$KE_HOME/bin
    CLASSPATH=.
    export JAVA_HOME
    export PATH
    export CLASSPATH
    export HADOOP_HOME
    export HBASE_HOME
    HBASE_CLASSPATH=$(/usr/hbase-1.2.4/bin/hbase classpath)
    HADOOP_CLASSPATH=/root/mysql-connector-java-5.1.49.jar
    export HADOOP_CLASSPATH
    export M2_HOME
    export HIVE_HOME
    export SQOOP_HOME
    export ZOOKEEPER_HOME
    export KE_HOME
    [root@CentOS ~]# source .bashrc 
    [root@CentOS ~]# cd /usr/kafka-eagle/
    [root@CentOS kafka-eagle]# vi conf/system-config.properties

######################################
    # multi zookeeper&kafka cluster list
    ######################################
    kafka.eagle.zk.cluster.alias=cluster1
    cluster1.zk.list=CentOS:2181
    
    ######################################
    # zk client thread limit
    ######################################
    kafka.zk.limit.size=25
    
    ######################################
    # kafka eagle webui port
    ######################################
    kafka.eagle.webui.port=8048
    
    ######################################
    # kafka offset storage
    ######################################
    cluster1.kafka.eagle.offset.storage=kafka
    
    ######################################
    # kafka metrics, 30 days by default
    ######################################
    kafka.eagle.metrics.charts=true
    kafka.eagle.metrics.retain=30
    
    
    ######################################
    # kafka sql topic records max
    ######################################
    kafka.eagle.sql.topic.records.max=5000
    kafka.eagle.sql.fix.error=false
    
    ######################################
    # delete kafka topic token
    ######################################
    kafka.eagle.topic.token=keadmin
    
    ######################################
    # kafka sasl authenticate
    ######################################
    cluster1.kafka.eagle.sasl.enable=false
    cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
    cluster1.kafka.eagle.sasl.mechanism=SCRAM-SHA-256
    cluster1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka" password="kafka-eagle";
    cluster1.kafka.eagle.sasl.client.id=
    
    ######################################
    # kafka sqlite jdbc driver address
    ######################################
    #kafka.eagle.driver=org.sqlite.JDBC
    #kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db
    #kafka.eagle.username=root
    #kafka.eagle.password=www.kafka-eagle.org
    
    ######################################
    # kafka mysql jdbc driver address
    ######################################
    kafka.eagle.driver=com.mysql.jdbc.Driver
    kafka.eagle.url=jdbc:mysql://CentOS:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
    kafka.eagle.username&