基于HDP3.1的Kafka对Kerberos的SASL认证

叁歲伎倆 2023-06-16 10:47 4阅读 0赞

前文：

公司使用Ambari2.7平台，需要自己搭测试环境，所以自己研究后，分享给大家。

**目录**

一、Ambari平台上修改Kafka配置

1、修改协议

2、修改机制

二、创建Kerberos授权用户

0、登录管理者

1、添加用户权限

2、生成keytab文件并拷贝到各个主机

三、配置认证

0、Kerberos客户端认证

1、配置客户端JAAS的Kerberos权限配置文件（指定keytab和principal）

2、配置服务器指定协议和安全机制配置文件

四、Kafka主题配置

1、创建主题

2、用户授权

3、生产者ACL授权

4、消费者ACL授权

五、Kafka数据生产与消费

1、通知JVM配置JAAS文件和Krb文件，临时有效

2、生产数据 （指定协议和安全机制的properties文件）

3、消费数据（指定协议和安全机制的properties文件）

六、代码案例

七、Linux和Window区别

1、Krb文件

2、Windows上配置了java也可以下载MIT Kerberos后使用kinit进行keytab认证

--------------------

# 一、Ambari平台上修改Kafka配置 #

## 1、修改协议 ##

listeners = SASL_PLAINTEXT://hadoop122:9092
    security.inter.broker.protocol = SASL_PLAINTEXT

## 2、修改机制 ##

sasl.enabled.mechanisms = GSSAPI
    sasl.mechanism.inter.broker.protocol = GSSAPI

# 二、创建Kerberos授权用户 #

## 0、登录管理者 ##

kadmin.local

## 1、添加用户权限 ##

add_principal kafkauser

## 2、生成keytab文件并拷贝到各个主机 ##

xst -norandkey -k /etc/security/keytabs/clientkafka.service.keytab kafkauser@HADOOP.COM
    scp /etc/security/keytabs/clientkafka.service.keytab root@hadoop123:/etc/security/keytabs/clientkafka.service.keytab
    scp /etc/security/keytabs/clientkafka.service.keytab root@hadoop124:/etc/security/keytabs/clientkafka.service.keytab

# 三、配置认证 #

## 0、Kerberos客户端认证 ##

kinit -kt /etc/security/keytabs/clientkafka.service.keytab kafkauser@HADOOP.COM

## 1、配置客户端JAAS的Kerberos权限配置文件（指定keytab和principal） ##

vim kafkauser_client_jaas.conf
    KafkaClient {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    storeKey=true
    client=true
    serviceName="kafka"
    keyTab="/etc/security/keytabs/clientkafka.service.keytab"
    principal="kafkauser";
    };

注：由于Ambari已把服务器JAAS配置好，使用其他平台请参考服务器默认配好的示例

KafkaServer {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    keyTab="{
       {kafka_keytab_path}}"
    storeKey=true
    useTicketCache=false
    serviceName="{
       {kafka_bare_jaas_principal}}"
    principal="{
       {kafka_jaas_principal}}";
    };
    KafkaClient {
    com.sun.security.auth.module.Krb5LoginModule required
    useTicketCache=true
    renewTicket=true
    serviceName="{
       {kafka_bare_jaas_principal}}";
    };
    Client {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    keyTab="{
       {kafka_keytab_path}}"
    storeKey=true
    useTicketCache=false
    serviceName="zookeeper"
    principal="{
       {kafka_jaas_principal}}";
    };

## 2、配置服务器指定协议和安全机制配置文件 ##

vim kafkauser.properties
    security.protocol=SASL_PLAINTEXT
    sasl.mechanism=GSSAPI
    sasl.kerberos.service.name=kafka

注：对应一开始设置的协议和安全机制

# 四、Kafka主题配置 #

## 1、创建主题 ##

bin\kafka-topics.sh --create --zookeeper hadoop122:2181 --partitions 1 --replication-factor 1 --topic kerber_test

## 2、用户授权 ##

bin/kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=hadoop122:2181,hadoop123:2181,hadoop124:2181 --add --allow-principal User:kafkauser --operation All --topic kerber_test

## 3、生产者ACL授权                                                       ##

bin/kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=hadoop122:2181,hadoop123:2181,hadoop124:2181 --allow-principal User:kafkauser --producer --topic=*  --add

##  4、消费者ACL授权 ##

bin/kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=hadoop122:2181,hadoop123:2181,hadoop124:2181 --allow-principal User:kafkauser --consumer --topic=* --group=* --add

# 五、Kafka数据生产与消费 #

## 1、通知JVM配置JAAS文件和Krb文件，临时有效 ##

export KAFKA_OPTS="-Djava.security.auth.login.config=/usr/hdp/3.1.0.0-78/kafka/bin/kafkauser_client_jaas.conf"
    export KRB_OPTS="-Djava.security.krb5.conf = /etc/kafka/krb5.conf"

## 2、生产数据 （指定协议和安全机制的properties文件） ##

bin/kafka-console-producer.sh --broker-list hadoop122:9092,hadoop123:9092,hadoop124:9092 --topic kerber_test --producer.config /usr/hdp/3.1.0.0-78/kafka/bin/kafkauser.properties

## 3、消费数据（指定协议和安全机制的properties文件） ##

bin/kafka-console-consumer.sh --bootstrap-server hadoop122:9092,hadoop123:9092,hadoop124:9092 --topic kerber_test --consumer.config /usr/hdp/3.1.0.0-78/kafka/bin/kafkauser.properties

# 六、代码案例 #

//Kerberos权限认证，指定JAAS权限配置文件
            System.setProperty("java.security.auth.login.config", "./kafkauser_jaas.conf");
            //Kerberos客户端环境信息，指定krb5配置文件
            System.setProperty("java.security.krb5.conf", "./krb5.conf");
            Properties props = new Properties();
            props.put("bootstrap.servers", "hadoop122:9092");//kafka集群，broker-list
            props.put("acks", "all");
            props.put("retries", 1);//重试次数
            props.put("batch.size", 16384);//批次大小
            props.put("linger.ms", 1);//等待时间
            props.put("buffer.memory", 33554432);//RecordAccumulator缓冲区大小
            props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
            props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
    
            //服务器协议和安全机制的properties配置文件
            props.put("sasl.mechanism", "GSSAPI ");
            props.put("security.protocol", "SASL_PLAINTEXT");
            props.put("sasl.kerberos.service.name", "kafka");

# 七、Linux和Window区别 #

# 1、Krb文件 #

Linux：/etc/krb5.conf

Windows：C:\\ProgramData\\MIT\\Kerberos5\\krb5.ini

## 2、Windows上配置了java也可以下载MIT Kerberos后使用kinit进行keytab认证 ##