轻松入门大数据第10章入门到进阶：如何快速掌握Hive核心函数 10.1 Hive函数 10.1.24 窗口分析函数场景cume_dist&percent_rank

悠悠 2024-03-16 12:10 26阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第10章 入门到进阶：如何快速掌握Hive核心函数
         *   *  10.1 Hive函数
             *   *  10.1.24 窗口分析函数场景cume\_dist&percent\_rank

![在这里插入图片描述][70ab1408a4be4b26ac8b2911393bbd37.png_pic_center]

#### 第10章 入门到进阶：如何快速掌握Hive核心函数 ####

##### 10.1 Hive函数 #####

> 1.  复杂数据类型
> 2.  Hive内置函数
> 3.  Hive UDF函数
> 4.  窗口分析函数
> 5.  SQL场景题

###### 10.1.24 窗口分析函数场景cume\_dist&percent\_rank ######

官网文档：[https://cwiki.apache.org/confluence/display/Hive/LanguageManual+WindowingAndAnalytics][https_cwiki.apache.org_confluence_display_Hive_LanguageManual_WindowingAndAnalytics]

![在这里插入图片描述][c55cee8043f84ba38c09aa590fcb7585.png_pic_center]

这里也准备了一份数据：`window02.txt`

dept01,ruoze,10000
    dept01,pk,20000
    dept01,xingxing,30000
    dept02,zhangsan,40000
    dept02,lisi,50000

![在这里插入图片描述][fdf17782eabd4a6196fe9e8067d2a5e6.png_pic_center]

解释一下：`部门名,姓名,工资`

创建表并加载数据 + 查一下：

create table win02(
    dept string,
    `user` string,
    sal int
    )row format delimited fields terminated by ',';
    
    load data local inpath '/home/hadoop/data/window/window02.txt' into table win02;
    
    select * from win02;

![在这里插入图片描述][f63ea41f6b9d42c483ca5a0ad6e4254f.png_pic_center]

OK， 没问题。

直接还是看结果推作用：

运行语句：

select dept, `user`,sal,
    cume_dist() over(order by sal) rn1,
    cume_dist() over(partition by dept order by sal) rn2
    from win02;

![在这里插入图片描述][9e249b972c16485aa89985793bc449c8.png_pic_center]

这个结果一看就不简单：

分析一下：

*  `rn1`：我们并没有分区，所以都是一个区，0.2 = 1 / 5，0.4 = 2 / 5 …
 *  `rn2`：做了一个以部门为分区，0.333333 = 1 / 3，…

cume\_dist计算公式：cume\_dist： 小于等于当前行值的行数 / 分组内的总行数【没问题】

再看另一个：

select dept, `user`,sal,
    percent_rank() over(order by sal) rn1,
    percent_rank() over(partition by dept order by sal) rn2
    from win02;

![在这里插入图片描述][af6b8d91f5f44687b1c5dc30ca26a46d.png_pic_center]

分析一下：

precent\_rank 计算公式： 分组内当前行的rank - 1 / 分组内的总行数 -1

*  `rn1`：0.0 = (1 - 1) / 4，0.25 = (2 - 1) / 4…
 *  `rn2`：0.5 = (2 - 1 ) / 2 …

没问题。【这两个主要就是记住公式】

[70ab1408a4be4b26ac8b2911393bbd37.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c3e483ca4970424ca7207a387a2022ee.png
[https_cwiki.apache.org_confluence_display_Hive_LanguageManual_WindowingAndAnalytics]: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+WindowingAndAnalytics
[c55cee8043f84ba38c09aa590fcb7585.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e9dd6876a3384125932a36862dbbc874.png
[fdf17782eabd4a6196fe9e8067d2a5e6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/aac6dd2d3e9743c4a88b1da33595a3b2.png
[f63ea41f6b9d42c483ca5a0ad6e4254f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/95a86f30684841c68a2e7a7740e00bc2.png
[9e249b972c16485aa89985793bc449c8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c1a1fef4bac34d5397d3d904939770e1.png
[af6b8d91f5f44687b1c5dc30ca26a46d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/7d9b7a483f7a4ed88dd875a64ff3e3cc.png