hdfs的透明加密记录

布满荆棘的人生 2024-03-16 12:02 52阅读 0赞

## 1、背景 ##

我们知道，在`hdfs`中，我们的数据是以`block`块存储在我们的磁盘上的，那么默认情况下，它是以`密文`存储的，还是以`明文`存储的呢？如果是明文存储的，那么是否就不安全呢？那么在`hdfs`中是如何做才能做到数据的`透明加密`呢？

## 2、常见的加密层级 ##

![常见的加密层级][baa41d0fb4d647749f6f3c6adf542971.png]

1.  **应用层加密：** 这是`最安全`和`最灵活`的方法。加密内容最终由应用程序来控制。并且可以精确的反应用户的需求。但是，编写应用程序来实现加密一般都比较困难。
2.  **数据库层加密：** 类似于应用程序级加密。大多数数据库供应商都提供某种形式的加密。但是`可能存在性能问题`。`比如`：索引无法加密。
3.  **文件系统层加密：** 这种方式对性能影响不大，且对应用程序是透明的，一般也比较容易实施。但是如果需要应对细粒度的要求策略，可能无法完全满足。比如：加密文件系统(EFS)用于在(NTFS)文件系统卷上存储已加密的文件。
4.  **磁盘层加密：** 易于部署和高性能，但是相当不灵活，只能防止用户从物理层面盗窃数据。

## 3、透明加密介绍 ##

*  HDFS透明加密（`Transparent Encryption`）支持`端对端`的透明加密，启用以后，对于一些需要加密的HDFS目录里的文件可以实现透明的加密和解密，而不需要修改用户的业务代码。`端对端是指加密和解密只能通过客户端来操作`。
 *  对于`加密区域`里的文件，HDFS`保存的即是加密后的文件`，文件`加密的密钥也是加密的`。让非法用户即使从操作系统层面拷走文件，也是密文，没法查看。
 *  HDFS`集群管理`和`密钥的管理`是`互相独立`的`职责`，由不同的用户角色（HDFS管理员、密钥管理员）承担。
 *  只有`HDFS客户端`可以加密或解密数据，`密钥管理在HDFS外部`，HDFS无法访问未加密的数据或加密密钥。

## 4、HDFS透明加密的核心概念 ##

### 4.1 加密区域 ###

`加密区域`就是`HDFS上的一个目录`，只不过该目录相对而言稍微特殊点。 `文件写入`的时候会被透明加密，`文件读取`的时候会被透明解密。

### 4.2 加密区域密钥-EZ KEY ###

当加密区域被创建时，都会有一个`加密区域密钥（EZ密钥, encryption zone key）`与之对应，`EZ密钥存储在HDFS外部的密钥库中`。  
![EZ Key][]

### 4.3 数据加密密钥-DEK ###

加密区域里的`每个文件`都`有其自己`的`加密密钥`，叫做`数据加密密钥（DEK, data. encryption key）`。

![DEK][]

### 4.4 加密数据加密密钥 EDEK ###

`DEK`会使用其各自的加密区域的`EZ`密钥进行`加密`，以形成 `加密数据加密密钥(EDEK)`

![EDEK][]

### 4.5 DEK的加解密和文件的加解密 ###

![DEK的加解密和文件的加解密][DEK 1]

### 4.6 密钥库 ###

*  `存储密钥(key)的叫做密钥库(keystore)`，将HDFS与外部企业级密钥库(keystore)集成是部署透明加密的第一步。
 *  `为什么密钥库独立与HDFS之外?`  
    可以指责分离，而且也更加安全。 这样`hdfs管理员`和`keystore管理员`就是2个人，各个处理各自的事情。

### 4.7 KMS 密钥管理服务 ###

*  Hadoop`密钥管理服务`(Key Management Server,简称`KMS`)，用作`HDFS客户端`与`密钥库`之间的`代理`。
 *  KMS主要有以下几个职责

1.  访问加密区域密钥(EZ Key)
2.  生成EDEK，`EDEK存储在NameNode上`
3.  为HDFS客户端解密EDEK

## 5、配置透明加密 ##

### 5.1 关闭hdfs集群 ###

[hadoopdeploy@hadoop01 sh]$ stop-dfs.sh
    Stopping namenodes on [hadoop01]
    Stopping datanodes
    Stopping secondary namenodes [hadoop03]
    [hadoopdeploy@hadoop01 sh]$

### 5.2 创建keystore ###

密钥库的密码为`Hadoop@123`

[hadoopdeploy@hadoop01 ~]$ keytool -genkey -alias 'keystore_hadoop'
    输入密钥库口令:
    再次输入新口令:
    您的名字与姓氏是什么?
      [Unknown]:
    您的组织单位名称是什么?
      [Unknown]:
    您的组织名称是什么?
      [Unknown]:
    您所在的城市或区域名称是什么?
      [Unknown]:
    您所在的省/市/自治区名称是什么?
      [Unknown]:
    该单位的双字母国家/地区代码是什么?
      [Unknown]:
    CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=Unknown是否正确?
      [否]:  y
    
    输入 <keystore_hadoop> 的密钥口令
    	(如果和密钥库口令相同, 按回车):
    再次输入新口令:
    
    Warning:
    JKS 密钥库使用专用格式。建议使用 "keytool -importkeystore -srckeystore /home/hadoopdeploy/.keystore -destkeystore /home/hadoopdeploy/.keystore -deststoretype pkcs12" 迁移到行业标准格式 PKCS12。
    [hadoopdeploy@hadoop01 ~]$ ll ~/.keystore
    -rw-rw-r--. 1 hadoopdeploy hadoopdeploy 1992 6月  15 22:20 /home/hadoopdeploy/.keystore
    [hadoopdeploy@hadoop01 ~]$

![生成keystore][keystore]

### 5.3 编辑 kms-site.xml文件 ###

<configuration>
            
            <property>
                    <name>hadoop.kms.key.provider.uri</name>
                    <value>jceks://file@/${user.home}/kms.jks</value>
            </property>
            
            <property>
                    <name>hadoop.security.keystore.java-keystore-provider.password-file</name>
                    <value>kms.keystore.password.txt</value>
            </property>
            <property>
                    <name>hadoop.kms.http.port</name>
                    <value>16000</value>
            </property>
            
            <property>
                     <name>dfs.encryption.key.provider.uri</name>
                     <value>kms://http@hadoop01:16000/kms</value>
            </property>
            
            <property>
                    <name>hadoop.kms.authentication.type</name>
                    <value>simple</value>
            </property>
    </configuration>

需要创建`kms.keystore.password.txt`文件，并设置密钥库的密码

[hadoopdeploy@hadoop01 hadoop]$ cat /opt/bigdata/hadoop-3.3.4/etc/hadoop/kms.keystore.password.txt
    Hadoop@123
    [hadoopdeploy@hadoop01 hadoop]$

### 5.4 编辑 kms-env.sh ###

export KMS_HOME=/opt/bigdata/hadoop-3.3.4
    export KMS_LOG=${KMS_HOME}/logs/kms
    export KMS_ADMIN_PORT=16001

### 5.5 修改core-site.xml ###

<property>
        <name>hadoop.security.key.provider.path</name>
        <value>kms://http@hadoop01:16000/kms</value>
    </property>

### 5.6 修改hdfs-site.xml ###

<property>
        <name>dfs.encryption.key.provider.uri</name>
        <value>kms://http@hadoop01:16000/kms</value>
    </property>

### 5.7 同步配置到集群另外的机器上 ###

[hadoopdeploy@hadoop01 hadoop]$ scp kms-site.xml kms-env.sh core-site.xml hdfs-site.xml hadoop01:$PWD
    [hadoopdeploy@hadoop01 hadoop]$ scp kms-site.xml kms-env.sh core-site.xml hdfs-site.xml hadoop02:$PWD

### 5.8 启动hdfs集群 ###

[hadoopdeploy@hadoop01 hadoop]$ start-dfs.sh
    Starting namenodes on [hadoop01]
    Starting datanodes
    Starting secondary namenodes [hadoop03]
    [hadoopdeploy@hadoop01 hadoop]$ jps
    2080 NameNode
    2243 DataNode
    2471 Jps
    [hadoopdeploy@hadoop01 hadoop]$

### 5.9 启动kms服务 ###

[hadoopdeploy@hadoop01 hadoop]$ hadoop --daemon start kms
    WARNING: KMS_LOG has been replaced by HADOOP_LOG_DIR. Using value of KMS_LOG.
    WARNING: /opt/bigdata/hadoop-3.3.4//temp does not exist. Creating.
    WARNING: /opt/bigdata/hadoop-3.3.4/logs/kms does not exist. Creating.
    [hadoopdeploy@hadoop01 hadoop]$ jps
    2080 NameNode
    2243 DataNode
    2870 KMSWebServer
    2904 Jps
    [hadoopdeploy@hadoop01 hadoop]$

`hadoop --daemon stop kms` 停止kms服务

## 6、测试透明加密 ##

`需求`： 在hdfs上创建2个目录`logs`和`datas`，只要是在`datas`目录中上传文件都需要透明加密，`logs`目录不需要，同时往`logs`和`datas`目录中上传一个文件，然后查看对应文件在磁盘上的block块，直接在操作系统上查看这个块，看文件是否加密。

### 6.1 准备数据 ###

[hadoopdeploy@hadoop01 hadoop]$ hadoop fs -mkdir /logs
    [hadoopdeploy@hadoop01 hadoop]$ hadoop fs -mkdir /datas
    [hadoopdeploy@hadoop01 hadoop]$ hadoop fs -ls /
    Found 2 items
    drwxr-xr-x   - hadoopdeploy supergroup          0 2023-06-16 21:10 /datas
    drwxr-xr-x   - hadoopdeploy supergroup          0 2023-06-16 21:10 /logs
    [hadoopdeploy@hadoop01 hadoop]$ echo 123456789 > 1.data
    [hadoopdeploy@hadoop01 hadoop]$ cat 1.data
    123456789
    [hadoopdeploy@hadoop01 hadoop]$

在 `/` 目录下创建2个文件夹 `logs`和`datas`, 并创建一个文件`1.data`，内容为`123456789`， `1.data`先不传递到`logs`和`datas`目录中。

### 6.2 创建key ###

# 创建一个key ，名字是 ezk_datas
    [hadoopdeploy@hadoop01 hadoop]$ hadoop key create ezk_datas
    ezk_datas has been successfully created with options Options{
        cipher='AES/CTR/NoPadding', bitLength=128, description='null', attributes=null}.
    org.apache.hadoop.crypto.key.kms.LoadBalancingKMSClientProvider@3d5c822d has been updated.
    # 查看key 列表
    [hadoopdeploy@hadoop01 hadoop]$ hadoop key list -metadata
    Listing keys for KeyProvider: org.apache.hadoop.crypto.key.kms.LoadBalancingKMSClientProvider@2f8dad04
    ezk_datas : cipher: AES/CTR/NoPadding, length: 128, description: null, created: Fri Jun 16 21:36:51 CST 2023, version: 1, attributes: [key.acl.name=ezk_datas]
    [hadoopdeploy@hadoop01 hadoop]$

### 6.3 创建加密区域 ###

[hadoopdeploy@hadoop01 hadoop]$ hdfs crypto -createZone -keyName ezk_datas -path /datas
    Added encryption zone /datas
    [hadoopdeploy@hadoop01 hadoop]$

`ezk_datas`： 为我们创建的ezk的名字  
`/datas`： hdfs上的一个目录

### 6.4 文件上传 ###

# 往/datas目录上传一个文件
    [hadoopdeploy@hadoop01 hadoop]$ hadoop fs -put 1.data /datas
    # 往/logs目录上传一个文件
    [hadoopdeploy@hadoop01 hadoop]$ hadoop fs -put 1.data /logs
    [hadoopdeploy@hadoop01 hadoop]$

### 6.5 查看加密文件 ###

![查看加密文件][f0b9f85aba2249fa829019a19ab3d003.png]

## 7、参考资料 ##

1、[https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/TransparentEncryption.html][https_hadoop.apache.org_docs_current_hadoop-project-dist_hadoop-hdfs_TransparentEncryption.html]

[baa41d0fb4d647749f6f3c6adf542971.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c77bc91728fb431c96fbea225c75a78e.png
[EZ Key]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/55819fabcb09425cb274742a2f3ddf1f.png
[DEK]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/d3f7e44248c24a15a30c6edcc967e12c.png
[EDEK]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f845ff79ab7e45a09c76402600b89a50.png
[DEK 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/73f685c4afcd498c94be8009cbc599bf.png
[keystore]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/86bc41448e1a4d55a4ae275bdba352e7.png
[f0b9f85aba2249fa829019a19ab3d003.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/8281438a26504eab81a19e0394554121.png
[https_hadoop.apache.org_docs_current_hadoop-project-dist_hadoop-hdfs_TransparentEncryption.html]: https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/TransparentEncryption.html