轻松入门大数据第10章入门到进阶：如何快速掌握Hive核心函数 10.1 Hive函数 10.1.19 【重要必掌握】窗口分析函数场景sumover的使用

浅浅的花香味﹌ 2024-03-16 11:34 57阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第10章 入门到进阶：如何快速掌握Hive核心函数
         *   *  10.1 Hive函数
             *   *  10.1.19 【重要必掌握】窗口分析函数场景sumover的使用

![在这里插入图片描述][46022ac0695a44c4a51734e97ad148fa.png_pic_center]

#### 第10章 入门到进阶：如何快速掌握Hive核心函数 ####

##### 10.1 Hive函数 #####

> 1.  复杂数据类型
> 2.  Hive内置函数
> 3.  Hive UDF函数
> 4.  窗口分析函数
> 5.  SQL场景题

###### 10.1.19 【重要必掌握】窗口分析函数场景sumover的使用 ######

【重要篇章】看到官网文档：

[https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select][https_cwiki.apache.org_confluence_display_Hive_LanguageManual_Select]

![在这里插入图片描述][c658fab3ba234dcdb2a835dfa1a02370.png_pic_center]

进

[https://cwiki.apache.org/confluence/display/Hive/LanguageManual+WindowingAndAnalytics][https_cwiki.apache.org_confluence_display_Hive_LanguageManual_WindowingAndAnalytics]

![在这里插入图片描述][3656a0ca9a8b45878096da414bb5a4f3.png_pic_center]

→ 窗口分析函数，从0.11 版本开始对Hive QL 的增强。

在开始之前，先对这之前我们已经学到的东西进行一个总结回顾：

*  聚合函数：多进一出  
    max min sum count avg 【出去一个】

在实际工作中，可能会遇到这样的需求：既要展示聚合前的数据，又要展示聚合后的数据

【窗口函数】 = 窗口 + 函数

官方描述：

1.  Windowing functions 窗口函数
2.  The OVER clause over 子句
3.  Analytics functions 分析函数

OK， 实践一下

准备一份数据：`window01.txt`

pk,2019-04-10,1
    pk,2019-04-11,5
    pk,2019-04-12,7
    pk,2019-04-13,3
    pk,2019-04-14,2
    pk,2019-04-15,4
    pk,2019-04-16,4

![在这里插入图片描述][e546efbe577f4169838f36becf7e9d15.png_pic_center]

解释\[不要较真\]：`域名,访问时间,访问流量`

创建表并加载数据：

create table win01(
    domain string,
    `time` string,
    traffic int
    )row format delimited fields terminated by ',';
    
    load data local inpath '/home/hadoop/data/window/window01.txt' into table win01;

![在这里插入图片描述][d87fd48c4ffb471fa234bd35a55a53d8.png_pic_center]

查一下

![在这里插入图片描述][349d2d7336cd4ef4b33e7c3554eabb81.png_pic_center]

没问题。

直接先做个演示，看下效果先：

select domain,`time`,traffic,sum(traffic) over(partition by domain order by `time`) sum_traffic from win01;

![在这里插入图片描述][cfb16f0f6ab64047893465c26dc4a78d.png_pic_center]

这个东西会跑MR 作业的，但是笔者这里接收了一直不RUN 是几个意思

![在这里插入图片描述][40a58b83e05b45a29d5856edec9ffca9.png_pic_center]

擦，解决一下，

我又试了一下运行一个样例

![在这里插入图片描述][13f43da6d8d44c1980b208c8caaa34f1.png_pic_center]

![在这里插入图片描述][92c673a6ccb24834925b8499cc44493c.png_pic_center]

也是接收了不运行

OK， 谷歌到一个说法，让重新format 一下元数据信息【啊这，那不是以前的表都会没了吧】

![在这里插入图片描述][26df23909b8445a1914b087cd9849d4f.png_pic_center]

用这个试试

<property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>20480</value>
    </property>

![在这里插入图片描述][ed42e28b7005404e86756f2dbdfc0f39.png_pic_center]

再试试

![在这里插入图片描述][d440e3bb3b224c7fb7f7077d32167fdc.png_pic_center]

OK， 还是没行，重启下虚拟机

![在这里插入图片描述][1fb164e523be49cbb69bb91bc14bc1c6.png_pic_center]

寄了，直接进不去了…

那就个格式化吧

![在这里插入图片描述][b691baf4b7334cd1bc9497ebff271e3f.png_pic_center]

OK， 重装了一下，可以跑了

![在这里插入图片描述][156f50215f514471bb151ee2ff35c6e9.png_pic_center]

回到Hive

![在这里插入图片描述][4576326980b742fab2df4d03e2851821.png_pic_center]

看来要把Hive 也格式化掉

![在这里插入图片描述][e3b42d3d0318423f867f284608166050.png_pic_center]

先把元数据清除

![在这里插入图片描述][de6433e0d7004bd28640388bae6a84a7.png_pic_center]

直接把库删掉，再试一次

![在这里插入图片描述][77fec5fc51314dda878fedabd35df8e7.png_pic_center]

OK， 了

![在这里插入图片描述][6e642ef4250c40fab6d66f7f9285626f.png_pic_center]

再试一次连接

![在这里插入图片描述][7ce43f1591a4491490a85290f203f070.png_pic_center]

可以用了，还是新建一个我们自己的库吧

![在这里插入图片描述][b94d88f2e0a64b4c8a53eebd944e9511.png_pic_center]

![在这里插入图片描述][2f6fd2386a79417aae1be3cebde4ecb7.png_pic_center]

OK了，就是之前的东西都没了，重来一下上面的操作

![在这里插入图片描述][e369524991a94042bd3a45e677587913.png_pic_center]

执行查询：

select domain,`time`,traffic,sum(traffic) over(partition by domain order by `time`) sum_traffic from win01;

![在这里插入图片描述][ee27db24227341aba87c8680f3f67537.png_pic_center]

开作业了

![在这里插入图片描述][a518662decf9442c87998363da3c5168.png_pic_center]

在运行了

![在这里插入图片描述][8bb98357e24643ba82d7a2314ba73b8e.png_pic_center]

可以，这样就出来了【就是beeline 又不好用了】

![在这里插入图片描述][d145708744dc45728a3aa2e7d29281d6.png_pic_center]

连上了，再跑一次

![在这里插入图片描述][926e8ae9b8ed43d588b25eb96d7cb2ad.png_pic_center]

终于没问题了

![在这里插入图片描述][258a7739694a4377b580c346ca2f92fc.png_pic_center]

可以看到这个结果代表什么呢

主要是最后那个字段，求和，按照域名进行分区，就`pk` 一个域名，所以都在一个组中，按照时间默认升序。可以看到是一个同分区中累加。

再看一个，

select
    domain,`time`,traffic,
    sum(traffic) over(partition by domain order by `time`) pv1,
    sum(traffic) over(partition by domain order by `time` ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) pv2,
    sum(traffic) over(partition by domain) pv3,
    sum(traffic) over(partition by domain order by `time` ROWS BETWEEN 3 PRECEDING AND CURRENT ROW) pv4,
    sum(traffic) over(partition by domain order by `time` ROWS BETWEEN 3 PRECEDING AND 1 FOLLOWING) pv5,
    sum(traffic) over(partition by domain order by `time` ROWS BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING) pv6
    from win01;

我们通过执行结果进行分析

![在这里插入图片描述][5c219769fe974576ad6c631c55358743.png_pic_center]

出来了6 个pv 跟在后面

算了，加个时间排序，

![在这里插入图片描述][356e4c5c50e7474091edbf6ddbc6a011.png_pic_center]

又出现了，那种`ACCEPTED` 了但是不`RUNNING` 的情况

![在这里插入图片描述][9cebec90b0f249d19b3d5a45d38c3e8b.png_pic_center]

这次笔者看到了，活节点没有了…

重启一下yarn试试

![在这里插入图片描述][f2315194cc85491dae4cd8e7310cb60e.png_pic_center]

看来还是资源的问题

![在这里插入图片描述][50cc3ce1363d46b1b2d737deb3e36925.png_pic_center]

那我就扩大一点嘛

![在这里插入图片描述][708c0e372a4a4245b1648a450efb576a.png_pic_center]

在`yarn-site.xml` 配置文件中加入

<property>
         <name>yarn.nodemanager.disk-health-checker.min-healthy-disks</name>
         <value>0.0</value>
      </property>
      <property>
         <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
         <value>100.0</value>
     </property>

> 资源不够真的都不容易学，后面还有好几个框架要跑

一顿操作之后，虚拟机烂掉了… 开不了机了，离谱

![在这里插入图片描述][a2923bdaa9034162ac63bef66c69c97f.png_pic_center]

离谱，也没打快照，寄了【OK， 开启重装之路】

![在这里插入图片描述][104b787f581b4f64bcc7fb18fc55690a.png_pic_center]

重新装一下Hadoop，Hive，ZK，IDEA…

这里笔者就不贴出来了【这次笔者直接搞个120G 的】

![在这里插入图片描述][c9ca9ef24a404887acdc86e16a896c4f.png_pic_center]

主要是扩容失败了，就想着直接重装吧【正好复习一下部署过程】

ZK 那些暂时用不到的笔者就暂时没装了，那个我们在hadoop 集群搭建的时候已经体会到了，这次暂时先Hadoop、Hive、JDK、IDEA也装上

OK，回来了，IDEA 暂时没装

![在这里插入图片描述][4d8a941012ec49e8ab64171352deae86.png_pic_center]

再试一次

![在这里插入图片描述][92b40b2fd4664a70a4ce41791e066b25.png_pic_center]

终于又在跑了

![在这里插入图片描述][38c24e1e470a4a9f99ea791262a5c375.png_pic_center]

一个语句开了几个作业

![在这里插入图片描述][b88922983e8b4e899ee4cc36803137ad.png_pic_center]

出来了，感动

分析一下结果

*  `pv1` 我们已经看过了，从上到下累计求和
 *  `pv2`：我们写的意思是从第一行开始，到当前行，所以它的效果和`pv1` 是一样的【这说明这是默认的方式】
 *  `pv3`：按照域名进行了分区，以分区为单位求和，所以全是最终的`26` 这个结果【整个窗口中所有的数据加起来】
 *  `pv4`：我们写的意思是从前三条到当前行，所以从第四行开始，都是以前三条的累计求和结果13为基数，加上当前行，
 *  `pv5`：我们写的意思是从前三条开始，并且往下走一行，所以从第一行开始我们就可以发现，每次都累加上了下一行的数据
 *  `pv6`：我们写的意思是从当前行开始加到最后
 *  【总之就是一个划分范围的概念】

[46022ac0695a44c4a51734e97ad148fa.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/07884af81e0c4886997e45cafb2f0fdc.png
[https_cwiki.apache.org_confluence_display_Hive_LanguageManual_Select]: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select
[c658fab3ba234dcdb2a835dfa1a02370.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f87debc70ac1429c90e21eabe0036f12.png
[https_cwiki.apache.org_confluence_display_Hive_LanguageManual_WindowingAndAnalytics]: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+WindowingAndAnalytics
[3656a0ca9a8b45878096da414bb5a4f3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/14dd64d38792482cbe729ac56cc3b4cd.png
[e546efbe577f4169838f36becf7e9d15.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/bb4f6a24237f45a1a83502a767df2b07.png
[d87fd48c4ffb471fa234bd35a55a53d8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6c0b5ee6360c4022b5dbef2185811fd1.png
[349d2d7336cd4ef4b33e7c3554eabb81.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/42bacadd9c97445dbc6ab61d4e7bc49a.png
[cfb16f0f6ab64047893465c26dc4a78d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b2012eb2658e4c52ad2aa2ecc9f3ba06.png
[40a58b83e05b45a29d5856edec9ffca9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/5e690599a16049c2873b6ea1125d0fea.png
[13f43da6d8d44c1980b208c8caaa34f1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/a917a75fbbb346a7a9632b7aee1bba7f.png
[92c673a6ccb24834925b8499cc44493c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/730826ca199d4aefa8c48862d48fe248.png
[26df23909b8445a1914b087cd9849d4f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/0855ea76472a4cae81d0bd83116e30da.png
[ed42e28b7005404e86756f2dbdfc0f39.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/1eea693fdae34c17a48a89d81618b1b9.png
[d440e3bb3b224c7fb7f7077d32167fdc.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/3091e35920774ef5a4f635822b81650b.png
[1fb164e523be49cbb69bb91bc14bc1c6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/70f6eb7fba42433da3ae02df23cf8a9b.png
[b691baf4b7334cd1bc9497ebff271e3f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e1bb88caa1b24242989966a9f414307d.png
[156f50215f514471bb151ee2ff35c6e9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/4beebf80ea814f8c8579d1c132100d94.png
[4576326980b742fab2df4d03e2851821.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/68aee2a16a2b496787db12e42e2f1ab2.png
[e3b42d3d0318423f867f284608166050.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/d3e0d2298d0a496792dcdf333a64b8db.png
[de6433e0d7004bd28640388bae6a84a7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e6bdcc94615f485cbc92b79d402a96e0.png
[77fec5fc51314dda878fedabd35df8e7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/ca32a8c3b3d14c55abe75eae891707aa.png
[6e642ef4250c40fab6d66f7f9285626f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/ea9d85f1bc304d1ba36004cf7dc6965d.png
[7ce43f1591a4491490a85290f203f070.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/8858935b74ea480190293ec1e0cc59c3.png
[b94d88f2e0a64b4c8a53eebd944e9511.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/716efb29f908415b8e9e442f63610521.png
[2f6fd2386a79417aae1be3cebde4ecb7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/26f784de87964be2aa70cbd40e77bd5e.png
[e369524991a94042bd3a45e677587913.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b27ffa7b513b4b8b917d362ef574d520.png
[ee27db24227341aba87c8680f3f67537.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/ee4f70d05a814f00920eb517eb89d52e.png
[a518662decf9442c87998363da3c5168.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/ae282126d5554011913e1d69e5fc05e5.png
[8bb98357e24643ba82d7a2314ba73b8e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/7f332599f35748b893be73a3452d030d.png
[d145708744dc45728a3aa2e7d29281d6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/04d09486e4e947a591b1175be20683af.png
[926e8ae9b8ed43d588b25eb96d7cb2ad.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/604d7180a59a4bde9850944b96ea7113.png
[258a7739694a4377b580c346ca2f92fc.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/0f4920f015514e47bc4d5e8b0664296c.png
[5c219769fe974576ad6c631c55358743.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f22b2cd245024db98c74838a686b56e0.png
[356e4c5c50e7474091edbf6ddbc6a011.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/fe60a46e45c346148a28c920e4e4744e.png
[9cebec90b0f249d19b3d5a45d38c3e8b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f4911bc95fcf4e17ab08a9671b7ab295.png
[f2315194cc85491dae4cd8e7310cb60e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/5a75e813f47041e59baa15c8bc31678a.png
[50cc3ce1363d46b1b2d737deb3e36925.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/a6f5003b9b3b4e388f3b236741a84c43.png
[708c0e372a4a4245b1648a450efb576a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f42f112702b449af86b55bc52edcd7f6.png
[a2923bdaa9034162ac63bef66c69c97f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/5d0792fed95f4525a580389d44e510bb.png
[104b787f581b4f64bcc7fb18fc55690a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/42b370ec08094f23b373d0c3f1b24ee8.png
[c9ca9ef24a404887acdc86e16a896c4f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/293d775a26f349a8abb1fae923795320.png
[4d8a941012ec49e8ab64171352deae86.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/a11369475e6a4735a2176d40412b3306.png
[92b40b2fd4664a70a4ce41791e066b25.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6a6b8542ee1949bf992ce6413a7ccd6a.png
[38c24e1e470a4a9f99ea791262a5c375.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/0166af2b0a8d4ceb8a25bf1a52e0addc.png
[b88922983e8b4e899ee4cc36803137ad.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/d2e960740c1f4146998f51ed11d0c20d.png