CDH数仓项目(三) —— Kerberos安全认证和Sentry权限管理

╰半橙微兮° 2024-03-27 10:29 60阅读 0赞

## 0 说明 ##

本文基于《[CDH数仓项目(一) —— CDH安装部署搭建详细流程》][CDH_ _ CDH]和[《CDH数仓项目(二) —— 用户行为数仓和业务数仓搭建》][CDH_ _]和搭建CDH数仓。本章节主要介绍基于CDH数仓的Kerberos认证和Sentry权限管理

## 1 Kerberos安全认证 ##

### 1.1 Kerberos概述 ###

Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。

### 1.2 Kerberos概念 ###

Kerberos中有以下一些概念需要了解：  
1）KDC：密钥分发中心，负责管理发放票据，记录授权。  
2）Realm：Kerberos管理领域的标识。  
3）principal：当每添加一个用户或服务的时候都需要向kdc添加一条principal，principl的形式为：主名称／实例名@领域名。  
4）主名称：主名称可以是用户名或服务名，表示是用于提供各种网络服务（如hdfs，yarn，hive）的主体。  
5）实例名：实例名简单理解为主机名。

### 1.3 Kerberos认证原理 ###

![在这里插入图片描述][578f15084eb44b76802a5d24e994deaf.png]

### 2 Kerberos安装 ###

### 2.1 server节点安装kerberos相关软件 ###

server节点只需安装一个节点即可，这里安装在chen102节点上

yum install -y krb5-server krb5-workstation krb5-libs

查看安装结果

rpm -qa | grep krb5

![在这里插入图片描述][e6057deb688d491cb5d38e5c386ffa07.png]

### 2.2 client节点安装 ###

client节点可以安装多个

yum install -y krb5-workstation krb5-libs

![在这里插入图片描述][8ad8c5f9c93d468a8384b9eddc504e0d.png]

### 2.3 配置Kerberos ###

需要配置的文件有两个为kdc.conf和krb5.conf , kdc配置只是需要Server服务节点配置，即chen102.  
1） kdc配置

vim /var/kerberos/krb5kdc/kdc.conf

![在这里插入图片描述][781c48e124304d2885b2f119157b4e34.png]  
说明：

> CHEN.COM：realm名称，Kerberos支持多个realm，一般全用大写。  
> acl\_file:admin的用户权。  
> admin\_keytab:KDC进行校验的keytab。  
> supported\_enctypes:支持的校验方式，注意把aes256-cts去掉，JAVA使用aes256-cts验证方式需要安装额外的jar包，所有这里不用

2） krb5文件配置

vim /etc/krb5.conf

![在这里插入图片描述][cf09466a280c4afa9dd41a09b5c189b0.png]

修改内容同步到集群其他节点

> default\_realm：默认的realm，设置 Kerberos 应用程序的默认领域，必须跟要配置的realm的名称一致。  
> ticket\_lifetime：表明凭证生效的时限，一般为24小时。  
> renew\_lifetime ： 表明凭证最长可以被延期的时限，一般为一个礼拜。当凭证过期之后，对安全认证的服务的后续访问则会失败。  
> udp\_preference\_limit= 1：禁止使用 udp，可以防止一个 Hadoop 中的错误。  
> realms：配置使用的 realm，如果有多个领域，只需向 \[realms\] 节添加其他的语句。  
> domain\_realm：集群域名与Kerberos realm的映射关系，单个realm的情况下，可忽略。

### 2.4 生成Kerberos数据库 ###

在server节点执行

kdb5_util create -s

创建完成后/var/kerberos/krb5kdc目录下会生成对应的文件

ls /var/kerberos/krb5kdc/

![在这里插入图片描述][57908e3cd0ad414da05484d1c4d45fda.png]

### 2.5 赋予Kerberos管理员所有权限 ###

vim /var/kerberos/krb5kdc/kadm5.acl

#修改为以下内容：
    */admin@CHEN.COM      *

说明：  
\*/admin：admin实例的全部主体  
@HADOOP.COM：realm  
\*：全部权限  
这个授权的意思：就是授予admin实例的全部主体对应CHEN.COM领域的全部权限。也就是创建Kerberos主体的时候如果实例为admin,就具有CHEN.COM领域的全部权限，比如创建如下的主体user1/admin就拥有全部的CHEN.COM领域的权限。

### 2.6 启动Kerberos服务(server节点执行) ###

启动krb5kdc

systemctl start krb5kdc

启动kadmin

systemctl start kadmin

![在这里插入图片描述][dea5cf1755314066aedb9e735aa90a6b.png]

设置开机自启

systemctl enable krb5kdc

systemctl enable kadmin

查看是否设置为开机自启

systemctl is-enabled krb5kdc

systemctl is-enabled kadmin

注：启动失败时可以通过/var/log/krb5kdc.log和/var/log/kadmind.log来查看。  
![在这里插入图片描述][1d626c4cbd32417895597b0bec203cbb.png]

### 2.7 创建管理员主体/实例 ###

kadmin.local -q "addprinc admin/admin"

![在这里插入图片描述][531a78ae125f4aea98d4fdcc582a1aad.png]

### 2.8 kinit管理员验证 ###

kinit admin/admin
    klist

![在这里插入图片描述][5161a7b0124144e08f76910af46abc43.png]  
其他节点尝试  
![在这里插入图片描述][943a0ba3678e44d3bb9432e4d46e8312.png]

### 2.9 Kerberos数据库操作 ###

#### 2.9.1 登录kerberos数据库 ####

1）本地登录（无需认证）

kadmin.local

![在这里插入图片描述][749f4f27b89048d59b546271c079eb58.png]

2）远程登录（需进行主体认证，先认证刚刚创建的管理员主体）

kadmin

![在这里插入图片描述][5c201b8a5e9542cb94ae5079fbf9f1c8.png]

#### 2.9.2 创建kerberos主体 ####

kadmin.local -q "addprinc test/test"

#### 2.9.3 修改主体密码 ####

kadmin.local -q "cpw test/test"

![在这里插入图片描述][853a59f61e3941baab1899c459ab9b3b.png]

#### 2.9.4 查看所有主体 ####

kadmin.local -q "list_principals"

![在这里插入图片描述][6c241bec0f444c43b3fc5de82544a06e.png]

### 2.10 Kerberos主体认证 ###

Kerberos提供了两种认证方式，一种是通过输入密码认证，另一种是通过keytab密钥文件认证，但两种方式不可同时使用

#### 2.10.1 密码认证 ####

kinit test/test
    klist

![在这里插入图片描述][ba042d3ea3cd4901ae00fd51adb3b52d.png]

#### 2.10.2 keytabl密钥文件认证 ####

1）生成主体admin/admin的keytab文件到指定目录/root/admin.keytab

kadmin.local -q "xst -k /root/test.keytab test/test@CHEN.COM"

2）使用keytab进行认证

kinit -kt /root/test.keytab test/test

查看keytab包含的主体名称

klist -ekt /root/test.keytab

3）查看认证凭证

klist

![在这里插入图片描述][eafd7b1b63ea4d6c95918bac43271e66.png]  
此时通过密码认证就不能再登录了

### 2.11 销毁认证 ###

kdestroy
    klist

## 3 CDH安装Kerberos ##

### 3.1 CDH启用Kerberos安全认证 ###

为CM创建管理员主体/实例

kadmin.local -q "addprinc cloudera-scm/admin"

![在这里插入图片描述][e9d2d2a471904b579e8bfa56a8375d61.png]

### 3.2 CDH页面启动kerberos ###

![在这里插入图片描述][4ab035dad2e74bf394e54b74114f7ae4.png]

### 3.3 环境确认 ###

![在这里插入图片描述][3e85bdd65f02461786f0e6d963cf76ef.png]

### 3.4 填写配置 ###

Kerberos 加密类型:aes128-cts、des3-hmac-sha1、arcfour-hmac  
![在这里插入图片描述][0dafa8b803e449f3bd4f0486e220a5ca.png]

### 3.5 填写主题名和密码 ###

![在这里插入图片描述][2e0e6b52d8cc426dabb9e4cdda440a11.png]

### 3.6 等待导入kdc ###

![在这里插入图片描述][74342b532c6f49e582036668de214c78.png]

### 3.7 等待重启集群 ###

![在这里插入图片描述][827846b520244d1c8b05a1ff0966e1fe.png]

### 3.8 查看主体 ###

![在这里插入图片描述][e94a559d9cf9489aa65b1922de98ff34.png]

## 4 Kerberos安全环境实操 ##

在启用Kerberos之后，系统与系统（flume-kafka）之间的通讯，以及用户与系统（user-hdfs）之间的通讯都需要先进行安全认证，认证通过之后方可进行通讯。  
故在启用Kerberos后，数仓中使用的脚本等，均需要加入一步安全认证的操作，才能正常工作。

### 4.1 用户访问服务认证 ###

开启Kerberos安全认证之后，日常的访问服务（例如访问HDFS，消费Kafka topic等）都需要先进行安全认证  
1）在Kerberos数据库中创建用户主体/实例

kadmin.local -q "addprinc hive/hive@CHEN.COM"

2）进行用户认证

kinit hive/hive@CHEN.COM

3）访问HDFS

hadoop fs -ls /

![在这里插入图片描述][ec0cba84d5614756969aaaac9f05ee86.png]

4）hive查询

hive

![在这里插入图片描述][59912cd3bb52413ea67e5258e78d820e.png]  
5）消费Kafka topic  
（1）修改Kafka配置  
① 在Kafka的配置项搜索“security.inter.broker.protocol”，设置为SALS\_PLAINTEXT。  
② 在Kafka的配置项搜索“ssl.client.auth”，设置为none。  
（2）创建jaas.conf文件

vim /var/lib/hive/jaas.conf

KafkaClient {
        
    com.sun.security.auth.module.Krb5LoginModule required
    useTicketCache=true;
    };

（3）创建consumer.properties文件

vim /etc/kafka/conf/consumer.properties

文件内容如下

security.protocol=SASL_PLAINTEXT
    sasl.kerberos.service.name=kafka

（4）声明jass.conf文件路径

export KAFKA_OPTS="-Djava.security.auth.login.config=/var/lib/hive/jaas.conf"

（5）使用kafka-console-consumer消费Kafka topic数据

kafka-console-consumer --bootstrap-server chen102:9092 --topic topic_start --from-beginning --consumer.config /etc/kafka/conf/consumer.properties

能够正常消费数据  
![在这里插入图片描述][84b11b0cf0b74724bc539b2944d88491.png]

### 4.2 windows webui浏览器认证 ###

我们设置CDH支持kerberos后会出现下图所示的情况：  
可以登录9870，但是不能查看目录及文件，这是由于我们本地环境没有通过认证。  
接下来我们设置本地验证。  
（1） 下载火狐  
（2）设置浏览器  
① 打开火狐浏览器，在地址栏输入：about:config，进入设置页面。  
![在这里插入图片描述][a383a41e75bc417db2a35548d25c3f5d.png]  
② 搜索“network.negotiate-auth.trusted-uris”，修改值为自己的服务器主机名  
![在这里插入图片描述][0444196861294a35aed2f573c2151f9f.png]  
③ 搜索“network.auth.use-sspi”，双击将值变为false  
![在这里插入图片描述][5768c652022c4aaea795d5362844c76d.png]  
（3）安装kfw  
① 安装提供的kfw-4.1-amd64.msi。  
② 将集群的/etc/krb5.conf文件的内容复制到C:\\ProgramData\\MIT\\Kerberos5\\krb.ini中，删除和路径相关的配置。

链接：https://pan.baidu.com/s/1sMmqTbVcVhNQubjQR5CrCQ 
    提取码：amo6

文件内容：

[logging]
    
     [libdefaults]
      default_realm = CHEN.COM
      dns_lookup_realm = false
      dns_lookup_kdc = false
      ticket_lifetime = 24h
      renew_lifetime = 7d
      forwardable = true
      udp_preference_limit = 1
    
    [realms]
     CHEN.COM = {
        
      kdc = chen102  
      admin_server = chen102
     }
    
    [domain_realm]

③ 打开MIT，输入主体名和密码：

![在这里插入图片描述][0edaaf827deb440dbe4480c42e736234.png]  
④ 测试  
![在这里插入图片描述][dac296b96f54461fa1d38fb2d7057c82.png]

### 4.3 用户行为数仓 ###

#### 4.3.1 日志采集Flume配置 ####

日志采集Flume，数据被发送到了Kafka，该Flume相当于一个Kafka生产者。所以需要我们进行上述Kafka客户端的安全认证。但是此处不需要我们进行手动配置，在开启Kerberos后，CM会自动进行配置。

#### 4.3.2 消费Kafka Flume配置 ####

消费Kafka Flume，将数据从Kafka传输到HDFS，该Flume相当于一个Kafka消费者。所以也需要我们进行上述Kafka客户端的安全认证（无需手动认证，CM会自动进行配置）。除此之外，我们还需要进行HDFS客户端的安全认证，这需要我们手动配置。  
（1）生成hive用户的keytab文件  
用户认证的方式有“输入密码”和“使用keytab密钥文件”两种方式，此处需使用keytab密钥文件进行认证。

kadmin.local -q "xst -k /var/lib/hive/hive.keytab hive/hive@CHEN.COM"

（2）增加读权限  
chmod +r /var/lib/hive/hive.keytab  
（3）分发keytab文件  
（4）修改flume agent配置文件

## 组件
    a1.sources=r1 r2
    a1.channels=c1 c2
    a1.sinks=k1 k2
    
    ## source1
    a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
    a1.sources.r1.batchSize = 5000
    a1.sources.r1.batchDurationMillis = 2000
    a1.sources.r1.kafka.bootstrap.servers = chen102:9092,chen103:9092,chen104:9092
    a1.sources.r1.kafka.topics=topic_start
    
    ## source2
    a1.sources.r2.type = org.apache.flume.source.kafka.KafkaSource
    a1.sources.r2.batchSize = 5000
    a1.sources.r2.batchDurationMillis = 2000
    a1.sources.r2.kafka.bootstrap.servers = chen102:9092,chen103:9092,chen104:9092
    a1.sources.r2.kafka.topics=topic_event
    
    ## channel1
    a1.channels.c1.type=memory
    a1.channels.c1.capacity=100000
    a1.channels.c1.transactionCapacity=10000
    
    ## channel2
    a1.channels.c2.type=memory
    a1.channels.c2.capacity=100000
    a1.channels.c2.transactionCapacity=10000
    
    ## sink1
    a1.sinks.k1.type = hdfs
    #a1.sinks.k1.hdfs.proxyUser=hive
    a1.sinks.k1.hdfs.kerberosPrincipal=hive/hive@CHEN.COM
    a1.sinks.k1.hdfs.kerberosKeytab=/var/lib/hive/hive.keytab
    a1.sinks.k1.hdfs.path = /origin_data/gmall/log/topic_start/%Y-%m-%d
    a1.sinks.k1.hdfs.filePrefix = logstart-
    a1.sinks.k1.hdfs.round = true
    a1.sinks.k1.hdfs.roundValue = 10
    a1.sinks.k1.hdfs.roundUnit = second
    
    ##sink2
    a1.sinks.k2.type = hdfs
    #a1.sinks.k2.hdfs.proxyUser=hive
    a1.sinks.k2.hdfs.kerberosPrincipal=hive/hive@CHEN.COM
    a1.sinks.k2.hdfs.kerberosKeytab=/var/lib/hive/hive.keytab
    a1.sinks.k2.hdfs.path = /origin_data/gmall/log/topic_event/%Y-%m-%d
    a1.sinks.k2.hdfs.filePrefix = logevent-
    a1.sinks.k2.hdfs.round = true
    a1.sinks.k2.hdfs.roundValue = 10
    a1.sinks.k2.hdfs.roundUnit = second
    
    ## 不要产生大量小文件
    a1.sinks.k1.hdfs.rollInterval = 10
    a1.sinks.k1.hdfs.rollSize = 134217728
    a1.sinks.k1.hdfs.rollCount = 0
    
    a1.sinks.k2.hdfs.rollInterval = 10
    a1.sinks.k2.hdfs.rollSize = 134217728
    a1.sinks.k2.hdfs.rollCount = 0
    
    ## 控制输出文件是原生文件。
    a1.sinks.k1.hdfs.fileType = CompressedStream 
    a1.sinks.k2.hdfs.fileType = CompressedStream 
    
    a1.sinks.k1.hdfs.codeC = lzop
    a1.sinks.k2.hdfs.codeC = lzop
    
    ## 拼装
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel= c1
    
    a1.sources.r2.channels = c2
    a1.sinks.k2.channel= c2

![在这里插入图片描述][d0266f6564d84f32b9f62c41304c0a7a.png]  
![在这里插入图片描述][37a2b05cf95d45bdb4070e8e12393c67.png]  
配置成功后，重启flume，执行采集脚本验证是否能正常采集。查看hdfs可看到如下页面，说明已经可以正常采集  
![在这里插入图片描述][e752dfabc717490d9e4ac27e5487354f.png]

#### 4.3.3 ods层 ####

ods\_log.sh添加如下内容：

kinit -kt /var/lib/hive/hive.keytab hive/hive
    beeline -u "jdbc:hive2://chen102:10000/;principal=hive/chen102@CHEN.COM" -n hive -e "$sql"

![在这里插入图片描述][7ad7487d4bc44b0b9b3b7f768ac29c28.png]

#### 4.3.4 dwd层 ####

dwd\_start\_log.sh

kinit -kt /var/lib/hive/hive.keytab hive/hive
    beeline -u "jdbc:hive2://chen102:10000/;principal=hive/chen102@CHEN.COM" -n hive -e "$sql"

#### 4.3.5 dws层 ####

dws\_log.sh

kinit -kt /var/lib/hive/hive.keytab hive/hive
    beeline -u "jdbc:hive2://chen102:10000/;principal=hive/chen102@CHEN.COM" -n hive -e "$sql"

#### 4.3.6 ads层 ####

ads\_uv\_log.sh

kinit -kt /var/lib/hive/hive.keytab hive/hive
    beeline -u "jdbc:hive2://chen102:10000/;principal=hive/chen102@CHEN.COM" -n hive -e "$sql"

### 4.4 业务数仓 ###

分别向业务数仓中添加kerberos认证

#### 4.4.1 sqoop导入 ####

sqoop\_import.sh

kinit -kt /var/lib/hive/hive.keytab hive/hive

#### 4.4.2 ods层 ####

ods\_db.sh

kinit -kt /var/lib/hive/hive.keytab hive/hive
    beeline -u "jdbc:hive2://chen102:10000/;principal=hive/chen102@CHEN.COM" -n hive -e "$sql"

#### 4.4.3 dwd层 ####

dwd\_db.sh

kinit -kt /var/lib/hive/hive.keytab hive/hive
    beeline -u "jdbc:hive2://chen102:10000/;principal=hive/chen102@CHEN.COM" -n hive -e "$sql"

#### 4.4.4 dws层 ####

dws\_db\_wide.sh

kinit -kt /var/lib/hive/hive.keytab hive/hive
    beeline -u "jdbc:hive2://chen102:10000/;principal=hive/chen102@CHEN.COM" -n hive -e "$sql"

#### 4.4.5 ads层 ####

ads\_db\_gmv.sh

kinit -kt /var/lib/hive/hive.keytab hive/hive
    beeline -u "jdbc:hive2://chen102:10000/;principal=hive/chen102@CHEN.COM" -n hive -e "$sql"

#### 4.4.6 sqoop导出 ####

kinit -kt /var/lib/hive/hive.keytab hive/hive

### 4.5 测试运行 ###

#### 4.5.1 hdfs新建目录 ####

hadoop fs -mkdir /user/hive/bin_kerberos

#### 4.5.2 上传最新脚本到hdfs目录 ####

#### 4.5.3 造数据 ####

![在这里插入图片描述][bd30fb4af3a0451b969a23296c2d0be5.png]

#### 4.5.4 hue页面新建调度任务 ####

![在这里插入图片描述][837b1722c0bd405ab5e6b643774edcd7.png]

#### 4.5.6 查看执行结果 ####

## 5 Sentry ##

### 5.1 sentry概述 ###

cdh版本的hadoop在对数据安全上的处理通常采用Kerberos+Sentry的结构。kerberos主要负责平台用户的用户认证，sentry则负责数据的权限管理。

### 5.2 Sentry 是什么 ###

Apache Sentry是Cloudera公司发布的一个Hadoop开源组件，它提供了细粒度级、基于角色的授权以及多租户的管理模式。  
Sentry提供了对Hadoop集群上经过身份验证的用户和应用程序的数据控制和强制执行精确级别权限的功能。Sentry目前可以与Apache Hive，Hive Metastore / HCatalog，Apache Solr，Impala和HDFS（仅限于Hive表数据）一起使用。  
Sentry旨在成为Hadoop组件的可插拔授权引擎。它允许自定义授权规则以验证用户或应用程序对Hadoop资源的访问请求。Sentry是高度模块化的，可以支持Hadoop中各种数据模型的授权

![在这里插入图片描述][5dd9b519bc17454a995c8f6126f93b9e.png]

### 5.3 Sentry安装部署 ###

#### 5.3.1 添加Sentry服务 ####

![在这里插入图片描述][0f8225349cb64a4a8be14a9f0f8cf3f2.png]

#### 5.3.2 自定义sentry角色 ####

![在这里插入图片描述][320d59e55f794afd90698a10895875fd.png]

#### 5.3.3 配置数据库连接 ####

![在这里插入图片描述][cd6a0fc2fdba431cb39d0e7f27f42a6f.png]

#### 5.3.4 完成sentry服务添加 ####

![在这里插入图片描述][e3d53e1dcce5487ebbf5479b7a525a0f.png]

### 5.4 sentry与Hive集成 ###

#### 5.4.1 修改配置参数 ####

（1）取消HiveServer2用户模拟  
在hive配置项中搜索“HiveServer2 启用模拟”，取消勾选  
![在这里插入图片描述][e4fc8715d67b4a579d999df160ebc958.png]  
（2）确保hive用户能够提交MR任务  
在yarn配置项中搜索“允许的系统用户”，确保包含“hive”。  
![在这里插入图片描述][45196d67bc1c4531b5c2d177c120ff6d.png]  
（3）在Hive配置项中搜索“启用数据库中的存储通知”，勾选。  
![在这里插入图片描述][bbf02b862bae4dd1980e4858b1e98065.png]

（4）在Hive配置项中搜索“Sentry”，勾选Sentry。  
![在这里插入图片描述][861b7d41d58349e1b7d3e0f986b12165.png]

### 5.5 sentry与impala配置 ###

在Impala配置项中搜索“Sentry”，勾选。  
![在这里插入图片描述][c81efb6ea0ef4676a94f4e204ad0cabb.png]

### 5.6 HDFS配置sentry ###

1）在HDFS配置项中搜索“启用访问控制列表”，勾选。  
![在这里插入图片描述][3e857b4406364d69a4b180d6d38a8749.png]

2）在HDFS配置项中搜索“启用 Sentry 同步”，做出下图修改。  
![在这里插入图片描述][2ed254c6410548e8a901203059b891fe.png]

### 5.7 sentry与hue ###

1）配置HUE支持Sentry  
在HUE配置项中搜索“Sentry”，勾选Sentry。  
![在这里插入图片描述][afbcc8b0ad7e47368aabd6a7989c828f.png]

## 6 sentry权限认证测试 ##

### 6.1 通过HUE操作 ###

1）查看Sentry权限管理中的管理员组。  
在Sentry的配置项中搜索“管理员组”，其中包括hive、impala，只有当某用户所属组位于其中时，才可为其他用户授予权限。  
![在这里插入图片描述][64cbe564252547fabb82c9551b14c818.png]  
2）在Hive集群所有节点创建两个用户reader，writer，为权限测试做准备。

useradd reader
    passwd reader
    useradd writer
    passwd writer

3）使用hive用户登录HUE，创建两个用户组reader、writer，并在两个用户组下创建两个用户reader、writer，为权限测试做准备。  
![在这里插入图片描述][ebe77901f74b4d679a5b60332442ac36.png]

4）Sentry工作界面（需要授予HUE用户访问Sentry的权限）

5）点击Roles按钮，并点击添加按钮  
![在这里插入图片描述][0d4eb4b67d174d26a239a6201109cbc2.png]

6）编辑Role  
admin\_role（首先为hive用户添加管理员权限）  
![在这里插入图片描述][eb7123fc439f4b489f69c2d1b013ea12.png]  
reader\_role  
![在这里插入图片描述][13186c0f257d46e3bebe9603cc4dfc62.png]

writer\_role  
![在这里插入图片描述][863a61be16694d89ad031d2bfb8b8ccd.png]

7）权限测试  
（1）分别使用reader和writer用户登录HUE  
（2）查询gmall数据库中的任意一张表，发现只有reader用户可查出，而writer则不能。说明权限控制生效。  
reader用户，具有查询权限  
![在这里插入图片描述][10c8b51221f14ec18d59c3b580aef398.png]  
reader用户，不具备插入数据权限  
![在这里插入图片描述][91035ae1f9f340d5bc8ee8da532b3ac9.png]  
writer用户不具备查询权限  
![在这里插入图片描述][0915e93852174b82a892595c2e1cf9ee.png]

writer用户具备插入权限  
![在这里插入图片描述][3103166883b9467a8008d1ca8718003d.png]

### 6.2 命令行操作 ###

1）在Hive集群所有节点创建两个用户reader\_cmd，writer\_cmd

useradd reader_cmd
    passwd reader_cmd
    useradd writer_cmd
    passwd writer_cmd

2）使用Sentry管理员用户hive通过beeline客户端连接HiveServer2

kinit -kt /var/lib/hive/hive.keytab hive/hive@CHEN.COM
    beeline -u "jdbc:hive2://chen102:10000/;principal=hive/chen102@CHEN.COM"

![在这里插入图片描述][009828e73ee64d31b567e68682bf8c50.png]

① 创建Role（reader\_role\_cmd,writer\_role\_cmd）

create role reader_role_cmd;
    create role writer_role_cmd;

![在这里插入图片描述][4ee10c4ba30c452d93a279189d49e659.png]  
② 为role赋予privilege

GRANT select ON DATABASE gmall TO ROLE reader_role_cmd;
    GRANT insert ON DATABASE gmall TO ROLE writer_role_cmd;

![在这里插入图片描述][d06e1461473a4535b4f3367ca788ce98.png]

③ 将role授予用户组

GRANT ROLE reader_role_cmd TO GROUP reader_cmd;
    GRANT ROLE writer_role_cmd TO GROUP writer_cmd;

![在这里插入图片描述][66237c58ac2747d8bd9b2c5a2b77aad8.png]  
执行上述命令后，在hue页面也能查看到当前新建的角色  
![在这里插入图片描述][2ace8560896c4d7bba26cb6ed599946c.png]

④ 查看权限授予情况  
（1）查看所有role（管理员）

SHOW ROLES;

![在这里插入图片描述][fd9f237236134540a19d596d416c4517.png]  
（2）查看指定用户组的role（管理员）

SHOW ROLE GRANT GROUP reader_cmd;

![在这里插入图片描述][8a4fabce23994dfa8f9a5fc6c16ad258.png]

（3）查看当前认证用户的role

SHOW CURRENT ROLES;

![在这里插入图片描述][62fc2ace4cc94e1e8b1a2f8aed529840.png]

（4）查看指定ROLE的具体权限（管理员）

SHOW GRANT ROLE reader_role_cmd;

![在这里插入图片描述][75c2101f2a8b4bb88e4c9ed2f0724b59.png]

⑤ 权限测试  
（1）为reader\_cmd、writer\_cmd创建Kerberos主体

kadmin.local -q "addprinc reader_cmd/reader_cmd@CHEN.COM"
    kadmin.local -q "addprinc writer_cmd/writer_cmd@CHEN.COM"

![在这里插入图片描述][5a7ed67a6a2c4ee0b73b3a2a621c3a84.png]  
（2）使用reader\_cmd登录HiveServer2，查询gmall库下的任意一张表

kinit reader_cmd/reader_cmd@CHEN.COM
    beeline -u "jdbc:hive2://chen102:10000/;principal=hive/chen102@CHEN.COM"

![在这里插入图片描述][a2706ac3c6df4af2b55d3ee1b7c96ced.png]  
具有查询权限  
![在这里插入图片描述][da5c894d66174e1fb9719c858c1c5925.png]  
不具备插入权限  
![在这里插入图片描述][3f5ce793bd61486bb795c6945f25e192.png]  
（3）使用writer\_cmd登录HiveServer2，查询gmall库下的任意一张表

kinit writer_cmd/writer_cmd@CHEN.COM
    beeline -u "jdbc:hive2://chen102:10000/;principal=hive/chen102@CHEN.COM"

![在这里插入图片描述][12209f28ee7447bd9ddbff3546560734.png]  
writer\_cmd不具备查询表权限  
![在这里插入图片描述][4f0ee08df8e04e2ea6c74e77e888125f.png]  
writer\_cmd具备插入表权限  
![在这里插入图片描述][64de189970bb4bdaa9388e2ef78f9e51.png]  
（4）查询结果  
reader\_cmd有对于gmall表的查询权限，而writer\_cmd没有。说明授权生效。

后面是对CDH数仓项目性能测试及清理CDH集群操作，详见  
[《CDH数仓项目(四) —— 集群性能测试/资源管理/清理CDH集群》][CDH_ _ _CDH]

[CDH_ _ CDH]: https://blog.csdn.net/Keyuchen_01/article/details/128742159
[CDH_ _]: https://blog.csdn.net/Keyuchen_01/article/details/128770325
[578f15084eb44b76802a5d24e994deaf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/30325403db4f425ab276e917b2dbf3a6.png
[e6057deb688d491cb5d38e5c386ffa07.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/e11f5db793f848edb3454cb971129fdb.png
[8ad8c5f9c93d468a8384b9eddc504e0d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/9cae9518b90e4ac3999521da6f7182fc.png
[781c48e124304d2885b2f119157b4e34.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/be06d75060f3417987e75f7959a5bace.png
[cf09466a280c4afa9dd41a09b5c189b0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/406eec1da07d4d238d778b68b139592f.png
[57908e3cd0ad414da05484d1c4d45fda.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/99e544ddb34f44c28f09ddc6ea40cb91.png
[dea5cf1755314066aedb9e735aa90a6b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/e712d973a274418b915bfa69c99a4d28.png
[1d626c4cbd32417895597b0bec203cbb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/c31d0968bdf841a0913b303347973443.png
[531a78ae125f4aea98d4fdcc582a1aad.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/72f616d1acda4e64b0d0e50a884cf7fb.png
[5161a7b0124144e08f76910af46abc43.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/e4f86ed8ee094993a10f1202a0e08e2b.png
[943a0ba3678e44d3bb9432e4d46e8312.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/2ab4e738b6704a89b026274d77b2e3e2.png
[749f4f27b89048d59b546271c079eb58.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/bda650777f904d6098d50d5a22e17c9a.png
[5c201b8a5e9542cb94ae5079fbf9f1c8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/40a3b07b647c4824ba84aaacb1689420.png
[853a59f61e3941baab1899c459ab9b3b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/6ed513b1b5d74bd8afc21df012f7d464.png
[6c241bec0f444c43b3fc5de82544a06e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/f6aa1209b3624e8dbfbc61b458f1cc63.png
[ba042d3ea3cd4901ae00fd51adb3b52d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/ace2f07b06184dbc8bc2a5a073094e57.png
[eafd7b1b63ea4d6c95918bac43271e66.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/312436f328704784872d91c67f2f531b.png
[e9d2d2a471904b579e8bfa56a8375d61.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/2cc2c9f2173f42d1a762df1d1035f7f8.png
[4ab035dad2e74bf394e54b74114f7ae4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/8af4b7f91f21470e896057cab01181e2.png
[3e85bdd65f02461786f0e6d963cf76ef.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/032d28769b0b4f68919b79a09b08723b.png
[0dafa8b803e449f3bd4f0486e220a5ca.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/e7c697d7dfcc4577b5ead1da1cbe464c.png
[2e0e6b52d8cc426dabb9e4cdda440a11.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/1d97c4581c8a4a40bdc1b39c71fcadee.png
[74342b532c6f49e582036668de214c78.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/8489c27cc82640b9b0cbcb9ed6c7b62e.png
[827846b520244d1c8b05a1ff0966e1fe.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/0e174bc4fad940b6926264374e570c30.png
[e94a559d9cf9489aa65b1922de98ff34.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/bc71174fb2d6484f9f0e6e16da67f4e8.png
[ec0cba84d5614756969aaaac9f05ee86.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/ab475ef4aaff4b16a26430778c3eaeca.png
[59912cd3bb52413ea67e5258e78d820e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/af4afe2bee92461dbb055b6dbc0e0185.png
[84b11b0cf0b74724bc539b2944d88491.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/29b53c45fa81494eafe0962f75b76076.png
[a383a41e75bc417db2a35548d25c3f5d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/f616192fbc5a4f6a877ba2b948a1fb7e.png
[0444196861294a35aed2f573c2151f9f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/0696d4b9d8924317b7c1a6cb74a676ce.png
[5768c652022c4aaea795d5362844c76d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/4580bf05ec444e9d8df87c6709f5dc18.png
[0edaaf827deb440dbe4480c42e736234.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/8f60e4911fb34c9eb56dc013021f3263.png
[dac296b96f54461fa1d38fb2d7057c82.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/0660e7e6158d476aa5e71708985b51cc.png
[d0266f6564d84f32b9f62c41304c0a7a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/2e8efc85a32147c39c7454ae1c2a7d5e.png
[37a2b05cf95d45bdb4070e8e12393c67.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/2857b607fb844600b2d972c1c44ecd8b.png
[e752dfabc717490d9e4ac27e5487354f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/c98abacc7a2b42228d75fd8acff78275.png
[7ad7487d4bc44b0b9b3b7f768ac29c28.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/45d642237a2242e19ad9b0d980d9db4d.png
[bd30fb4af3a0451b969a23296c2d0be5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/ad50412ad5314ed7814feea82fba790f.png
[837b1722c0bd405ab5e6b643774edcd7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/5cf99c52900249959b567091c11d652d.png
[5dd9b519bc17454a995c8f6126f93b9e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/a5599125d8ed40c785eab27a29e0ce6f.png
[0f8225349cb64a4a8be14a9f0f8cf3f2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/bb6ecd051909400c82f953c041a95f91.png
[320d59e55f794afd90698a10895875fd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/6d2a46701dd049b489bb6d0975d20fcc.png
[cd6a0fc2fdba431cb39d0e7f27f42a6f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/a90c3ffa51fc4a6cb28c5da7d6c8078f.png
[e3d53e1dcce5487ebbf5479b7a525a0f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/7c9f2941728d4c23a404e421e9f99a43.png
[e4fc8715d67b4a579d999df160ebc958.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/31d115be690a49c190538ab25201bf72.png
[45196d67bc1c4531b5c2d177c120ff6d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/dcaef7e33ada417882fd298b2cd68cd2.png
[bbf02b862bae4dd1980e4858b1e98065.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/ecbe7482d00343d1bf0dee8f2250961c.png
[861b7d41d58349e1b7d3e0f986b12165.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/0ee4913e248949999f12a8dfd83f397f.png
[c81efb6ea0ef4676a94f4e204ad0cabb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/43bb920e24a34be3a5261a6497d12f34.png
[3e857b4406364d69a4b180d6d38a8749.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/e01ccda2d57d46848f6a0fd157f81958.png
[2ed254c6410548e8a901203059b891fe.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/77a92bac4a834e87b57c121d7f5d882e.png
[afbcc8b0ad7e47368aabd6a7989c828f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/6ac3e63c2ffc4fc087efae644cc6eea5.png
[64cbe564252547fabb82c9551b14c818.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/877bee85efcb486898b31d5c7512c592.png
[ebe77901f74b4d679a5b60332442ac36.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/dce0ea0bd99a49a5b3857bb3e5c2d011.png
[0d4eb4b67d174d26a239a6201109cbc2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/056206cb6c224dff8f066a25015b8f0d.png
[eb7123fc439f4b489f69c2d1b013ea12.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/f1d34f9647d44df29351363ddb3dc49a.png
[13186c0f257d46e3bebe9603cc4dfc62.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/df313a4946a2429cb0a5ecedf66cc578.png
[863a61be16694d89ad031d2bfb8b8ccd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/9f7a29a11b034012a187902741c386c0.png
[10c8b51221f14ec18d59c3b580aef398.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/7448431033024f2c87ea939933400fb4.png
[91035ae1f9f340d5bc8ee8da532b3ac9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/89e3931bf122458c821aaf70d257df66.png
[0915e93852174b82a892595c2e1cf9ee.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/3305f95fbd384eee9a5c010c51c93961.png
[3103166883b9467a8008d1ca8718003d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/dd6ffab22adf497b98958cc365458be1.png
[009828e73ee64d31b567e68682bf8c50.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/822c8110c2ef46ec8eb94dfc9a668e22.png
[4ee10c4ba30c452d93a279189d49e659.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/658ea53bfc4f48c68f348191d8ebb4d7.png
[d06e1461473a4535b4f3367ca788ce98.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/073d2f2efeed4d7ea1c086dc75a7d6b4.png
[66237c58ac2747d8bd9b2c5a2b77aad8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/5b6613e4ef744d0f8ea21eff3a49e649.png
[2ace8560896c4d7bba26cb6ed599946c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/9284712eae814e959ccf740d2ab494ff.png
[fd9f237236134540a19d596d416c4517.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/bb62495929a348378bbe8b43121132da.png
[8a4fabce23994dfa8f9a5fc6c16ad258.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/781ca57b3c434d18b65f6e5a26aeb831.png
[62fc2ace4cc94e1e8b1a2f8aed529840.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/7c496d8c000e40f3a03e36fde4291742.png
[75c2101f2a8b4bb88e4c9ed2f0724b59.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/ae73997fa821417b81730227304b159a.png
[5a7ed67a6a2c4ee0b73b3a2a621c3a84.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/872bc77572724458a3ea30e86f5976ef.png
[a2706ac3c6df4af2b55d3ee1b7c96ced.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/86de74d641054ceca5e53dd68a507adf.png
[da5c894d66174e1fb9719c858c1c5925.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/84c84a4d3f4e48be9433d2fb9291dfc7.png
[3f5ce793bd61486bb795c6945f25e192.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/d67cd9c8dfaf4f1a9b44fe58009d5002.png
[12209f28ee7447bd9ddbff3546560734.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/92e00657adc9432e88cd7f035e4788a5.png
[4f0ee08df8e04e2ea6c74e77e888125f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/62ad45f56eb5488886d7992e3f7a77cb.png
[64de189970bb4bdaa9388e2ef78f9e51.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/dd424da9a6734665b15993e263076c59.png
[CDH_ _ _CDH]: https://blog.csdn.net/Keyuchen_01/article/details/128857207