Apache Doris 资源隔离详解

你的名字 2023-10-14 13:41 12阅读 0赞

#### Apache Doris 资源隔离详解 ####

*  一、简述
 *  二、测试体验
 *   *  2.1 BE节点设置标签
     *   *  2.1.1 分组前
         *  2.1.2 开始分组
         *  2.1.3 分组后
     *  2.2 根据资源组分布数据
     *   *  2.2.1 创建测试表
         *  2.2.2 导入测试数据
     *  2.3 用户资源使用权限控制
     *   *  2.3.1 创建测试用户
         *  2.3.2 授权用户
         *  2.3.3 设置用户资源使用权限
         *  2.3.4 验证权限
     *  2.4 读写权限验证
 *  三、优化配置
 *   *  3.1 内存限制
     *  3.2 CPU限制
 *  四、总结

## 一、简述 ##

> 主要是对于BE节点而言

Doris 的多租户和资源隔离方案，主要目的是为了多用户在同一 Doris 集群内进行数据操作时，减少相互之间的干扰，能够将集群资源更合理的分配给各用户。  
![在这里插入图片描述][1a821c13672a43a2b09341cccc4dad6e.png]

## 二、测试体验 ##

### 2.1 BE节点设置标签 ###

> 注：一个 BE 只支持设置一个 Tag。

一个 Doris 集群内的 BE 节点可以设置标签（Tag），标签相同的 BE 节点组成一个资源组（Resource Group）；资源组可以看作是数据存储和计算的一个管理单元。

#### 2.1.1 分组前 ####

![在这里插入图片描述][662ead8b2b71474b96f97c2ca8c47c49.png]

#### 2.1.2 开始分组 ####

-- 3个节点划分成2个资源组
    alter system modify backend "be01:9050" set ("tag.location" = "group_a");
    alter system modify backend "be02:9050" set ("tag.location" = "group_b");
    alter system modify backend "be03:9050" set ("tag.location" = "group_c");

#### 2.1.3 分组后 ####

![在这里插入图片描述][3ebe1f0f84e64d6e928ec45a3ff854af.png]

### 2.2 根据资源组分布数据 ###

> 资源组划分好后，可以将用户数据的不同副本分布在不同资源组内。

#### 2.2.1 创建测试表 ####

-- 以SQL99其中一张维表为例，每个资源组放一个副本
    create table tpcds.catalog_returns_duplicate
    (
        cr_item_sk                integer               not null,
        cr_order_number           integer               not null,
        cr_returned_date_sk       integer                       ,
        cr_returned_time_sk       integer                       ,
        cr_ship_date_sk           integer                       ,
        cr_refunded_customer_sk   integer                       ,
        cr_refunded_cdemo_sk      integer                       ,
        cr_refunded_hdemo_sk      integer                       ,
        cr_refunded_addr_sk       integer                       ,
        cr_returning_customer_sk  integer                       ,
        cr_returning_cdemo_sk     integer                       ,
        cr_returning_hdemo_sk     integer                       ,
        cr_returning_addr_sk      integer                       ,
        cr_call_center_sk         integer                       ,
        cr_catalog_page_sk        integer                       ,
        cr_ship_mode_sk           integer                       ,
        cr_warehouse_sk           integer                       ,--    cr_reason_sk              integer                       ,
        cr_return_quantity        integer                       ,
        cr_return_amount          decimal(7,2)                  ,
        cr_return_tax             decimal(7,2)                  ,
        cr_return_amt_inc_tax     decimal(7,2)                  ,
        cr_fee                    decimal(7,2)                  ,
        cr_return_ship_cost       decimal(7,2)                  ,
        cr_refunded_cash          decimal(7,2)                  ,
        cr_reversed_charge        decimal(7,2)                  ,
        cr_store_credit           decimal(7,2)                  ,
        cr_net_loss               decimal(7,2)                 
    )ENGINE=olap 
    DUPLICATE KEY(`cr_item_sk`,`cr_order_number`) 
    DISTRIBUTED BY HASH(`cr_item_sk`,`cr_order_number`) BUCKETS 10 
    PROPERTIES("replication_allocation"
        = "tag.location.group_a:1, tag.location.group_b:1, tag.location.group_c:1");

#### 2.2.2 导入测试数据 ####

-- 随机测试写入几条数据验证
    insert into tpcds.catalog_returns_duplicate values
    (.....)

### 2.3 用户资源使用权限控制 ###

> 通过设置用户的资源使用权限，来限制某一用户的查询，只能使用指定资源组中的节点来执行。

#### 2.3.1 创建测试用户 ####

-- 用户名@用户端连接所在的主机地址（测试不设置密码）
    -- 默认为 '%'，即表示该用户可以从任意host连接到 DorisDB
    CREATE USER 't_rg_user01'@'%';
    CREATE USER 't_rg_user02'@'%';
    CREATE USER 't_rg_user03'@'%';

#### 2.3.2 授权用户 ####

-- GRANT授权（授予所有库和表的权限给用户）
    GRANT SELECT_PRIV ON *.* TO 't_rg_user01'@'%';
    GRANT SELECT_PRIV ON *.* TO 't_rg_user02'@'%';
    GRANT SELECT_PRIV ON *.* TO 't_rg_user03'@'%';

![在这里插入图片描述][4314e51cce3f4ce2ae006fa7350a5e12.gif]

#### 2.3.3 设置用户资源使用权限 ####

set property for 't_rg_user01' 'resource_tags.location' = 'group_a';
    set property for 't_rg_user02' 'resource_tags.location' = 'group_b';
    set property for 't_rg_user03' 'resource_tags.location' = 'group_a, group_b, group_c';

#### 2.3.4 验证权限 ####

1.  准备测试查询SQL

select * from (
    select * from catalog_returns_duplicate crd0402
    ) t1
    JOIN
    (
    select * from catalog_returns_duplicate crd0402
    ) t2 on t1.cr_item_sk = t2.cr_item_sk
    JOIN
    (
    select * from catalog_returns_duplicate crd0402
    ) t3 on t2.cr_item_sk = t3.cr_item_sk
    JOIN
    (
    select distinct cr_item_sk from catalog_returns_duplicate crd0402
    ) t4 on t3.cr_item_sk = t4.cr_item_sk

1.  开始查询

> 通过grafana中【be scan rows】图标可以清楚地看到，每个用户使用的资源都基于设置进行了对应的内存隔离。

![在这里插入图片描述][4e261474abf942639bd68f22be9bd6ad.png]

### 2.4 读写权限验证 ###

> 只读不写或只写不读权限验证

-- 用户创建
    CREATE USER 't_only_read_user'@'%';
    CREATE USER 't_only_write_user'@'%';
    
    -- 对指定的库或表的读取权限
    GRANT SELECT_PRIV ON *.* TO 't_only_read_user'@'%';
    
    -- 对指定的库或表的导入权限
    GRANT LOAD_PRIV ON *.* TO 't_only_write_user'@'%';

![在这里插入图片描述][a5493679361f4f7d80e89a5678f067c8.gif]  
![在这里插入图片描述][dd1b7d1bb8a048bc9c5201d624301967.gif]

## 三、优化配置 ##

> 资源组方法是节点级别的资源隔离和限制。  
> 而在资源组内，依然可能发生资源抢占问题；可以针对对单查询做资源限制功能

### 3.1 内存限制 ###

-- 设置会话变量 exec_mem_limit。则之后该会话内（连接内）的所有查询都使用这个内存限制。
    set exec_mem_limit=1G;
    
    -- 设置全局变量 exec_mem_limit。则之后所有新会话（新连接）的所有查询都使用这个内存限制。
    set global exec_mem_limit=1G;
    
    -- 在 SQL 中设置变量 exec_mem_limit。则该变量仅影响这个 SQL。
    select /*+ SET_VAR(exec_mem_limit=1G) */ id, name from tbl where xxx;

### 3.2 CPU限制 ###

-- 设置会话变量 cpu_resource_limit。则之后该会话内（连接内）的所有查询都使用这个CPU限制。
    set cpu_resource_limit = 2
    
    -- 设置用户的属性 cpu_resource_limit，则所有该用户的查询情况都使用这个CPU限制。该属性的优先级高于会话变量 cpu_resource_limit
    set property for 'user1' 'cpu_resource_limit' = '3';

## 四、总结 ##

1.  可以对用户做到**查询资源的物理隔离**，写入不做资源隔离
2.  可以对用户做到库表颗粒的权限控制参考用户账户管理

[1a821c13672a43a2b09341cccc4dad6e.png]: https://img-blog.csdnimg.cn/1a821c13672a43a2b09341cccc4dad6e.png
[662ead8b2b71474b96f97c2ca8c47c49.png]: https://img-blog.csdnimg.cn/662ead8b2b71474b96f97c2ca8c47c49.png
[3ebe1f0f84e64d6e928ec45a3ff854af.png]: https://img-blog.csdnimg.cn/3ebe1f0f84e64d6e928ec45a3ff854af.png
[4314e51cce3f4ce2ae006fa7350a5e12.gif]: https://img-blog.csdnimg.cn/4314e51cce3f4ce2ae006fa7350a5e12.gif
[4e261474abf942639bd68f22be9bd6ad.png]: https://img-blog.csdnimg.cn/4e261474abf942639bd68f22be9bd6ad.png
[a5493679361f4f7d80e89a5678f067c8.gif]: https://img-blog.csdnimg.cn/a5493679361f4f7d80e89a5678f067c8.gif
[dd1b7d1bb8a048bc9c5201d624301967.gif]: https://img-blog.csdnimg.cn/dd1b7d1bb8a048bc9c5201d624301967.gif