HIVE 基础（四）

川长思鸟来 2024-03-26 12:47 63阅读 0赞

**目录**

分桶（Bucket）

设定属性

定义分桶

案例

建表语句

表数据

上传到数据

创建分桶语句

加载数据

分桶抽样（Sampling）

随机抽样---整行数据

随机抽样---指定列

随机抽样---百分比

随机抽样---抽取行数

Hive视图（View）

视图概述

应用场景

创建视图

查看视图定义

删除视图

更改视图属性

更改视图定义

Hive侧视图（Lateral View）

--------------------

### 分桶（Bucket） ###

**分桶对应于HDFS中的文件**

*  更高的查询处理效率
 *  使抽样（sampling）更高效
 *  一般根据"桶列"的哈希函数将数据进行分桶

### 设定属性 ###

> SET hive.enforce.bucketing = true;

### 定义分桶 ###

> clustered by(employee) into 2 buckets

**分桶只有动态分桶**

**必须使用INSERT方式加载数据**

### 案例 ###

#### 建表语句 ####

create table employee_id
    (
        name         string,
        employee_id  int,
        work_place   array<string>,
        gender_age   struct<gender:string,age:int>,
        skills_score map<string,int>,
        depart_title map<string,array<string>>
    )
        row format delimited
            fields terminated by '|'
            collection items terminated by ','
            map keys terminated by ':'
            lines terminated by '\n';

#### 表数据 ####

#### 上传到数据 ####

> load data local inpath '/opt/stufile/employee\_id.txt' overwrite into table employee\_id;

#### 创建分桶语句 ####

create table employee_id_buckets
    (
        name         string,
        employee_id  int,
        work_place   array<string>,
        gender_age   struct<gender:string,age:int>,
        skills_score map<string,int>,
        depart_title map<string,array<string>>
    ) clustered by (employee_id) into 2 buckets
        row format delimited
            fields terminated by '|'
            collection items terminated by ','
            map keys terminated by ':';

clustered by (employee\_id) into 2 buckets 含义是：把employee\_id设置两个分桶

#### 加载数据 ####

insert overwrite table employee_id_buckets select * from employee_id;

### 分桶抽样（Sampling） ###

#### 随机抽样---整行数据 ####

select *
    from employee_id_buckets tablesample (bucket 1 out of 2 on rand());

#### 随机抽样---指定列 ####

**（使用分桶列更高效）**

select *
    from employee_id_buckets tablesample (bucket 1 out of 2 on employee_id);

#### 随机抽样---百分比 ####

select *
    from employee_id_buckets tablesample (10 percent);

#### 随机抽样---抽取行数 ####

select *
    from employee_id_buckets tablesample (10 rows);

### Hive视图（View） ###

#### 视图概述 ####

*  通过隐藏子查询、连接和函数来简化查询的逻辑结构
 *  只保存定义，不存储数据
 *  如果删除或更改基础表，则查询视图将失败
 *  视图是只读的，不能插入或装载数据

#### 应用场景 ####

*  将特定的列提供给用户，保护数据隐私
 *  用于查询语句复杂的场景

#### 创建视图 ####

支持 CTE, ORDER BY, LIMIT, JOIN等

> create view view\_name as select statement;

#### 查看视图定义 ####

> show create table view\_name;

#### 删除视图 ####

> drop view\_name;

#### 更改视图属性 ####

> alter view view\_name set tblproperties ('comment' = 'This is a view');

#### 更改视图定义 ####

> alter view view\_name as select statement;

### Hive侧视图（Lateral View） ###

**与表生成函数结合使用，将函数的输入和输出连接**

OUTER关键字：即使output为空也会生成结果

select name, workplace, loc
    from employee lateral view outer explode(split(null, ',')) a as loc;

![fc483127ad7f490f924c0b25bd24d449.png][]

支持多层级

select name,wps,gender_age.gender, gender_age.age,skill,score,depart,title
    from employee
             lateral view explode(workplace) work_place as wps
             lateral view explode(skills_score) sks as skill, score
             lateral view explode(depart_title) ga as depart, title;

![a353e4733676446cabb3de074fcea47c.png][]

[fc483127ad7f490f924c0b25bd24d449.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/5c5333a729e94cc5ac5a50e27bf352fe.png
[a353e4733676446cabb3de074fcea47c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/e0a6b9e26d0b4093940405ace8d27d92.png