一个hive数仓清洗小案例：单词统计

比眉伴天荒 2022-10-01 00:53 135阅读 0赞

【需求】统计某一款产品的用户中，分别有多少用户是同一个年龄。例如25岁的有100人，60岁的有20人。

// 我已提前在hive数据仓库中建表customers，也已经把本地文件加载到了hive仓库里

**hive> desc customers;**

OK

id int

name string

age int

Time taken: 0.044 seconds, Fetched: 3row(s)

**hive> select \* from customers limit 15;// 分别对应id, name, age**

OK

1 tom 12

2 tommy 13

3 kevin 14

4 goodman 15

5 tonykid 13

6 alice 14

7 alex 14

8 lucyclaire 13

9 woody 15

10 garyking 14

11 johnson 15

12 tracy 14

13 carl 13

14 hisonburg 58

15 laura 14

// 切割出age列，放到数组里，给每一行数组起个别名

**hive> select split(age, ' ') as AGE from customers;**

OK

\["12"\]

\["13"\]

\["14"\]

\["15"\]

\["13"\]

\["14"\]

\["14"\]

\["13"\]

\["15"\]

\["14"\]

\["15"\]

\["14"\]

\["13"\]

\["58"\]

// 炸开每一行数组后，把每个数组中的元素连接成为一个新表，把表名命名为AgeTable

// 再从这个新表里查出AGE字段及其对应的出现次数

**hive> select  AgeTable.AGE, count(\*) from ((select explode(split(age, ' ')) as AGE from customers) as AgeTable) group by AgeTable.AGE;**

Stage-Stage-1: Map: 1 Reduce: 1 Cumulative CPU: 8.83 sec HDFSRead: 9463 HDFS Write: 206 SUCCESS

Total MapReduce CPU Time Spent: 8 seconds830 msec

OK

12 3

13 6

14 7

15 5

27 1

48 3

58 5

// 获得统计结果后，需要存起来，供其他业务需求再次使用，

// 所以要建个新表（也可以建一个外部表），把刚才的统计结果直接写到表里

**hive> CREATE TABLE customer\_age\_group AS select AgeTable.AGE, count(\*) AS age\_count FROM((select explode(split(age, ' ')) as AGE from customers) as AgeTable) group by AgeTable.AGE;**

Stage-Stage-1: Map: 1 Reduce: 1 Cumulative CPU: 6.98 sec HDFSRead: 9187 HDFS Write: 117 SUCCESS

Total MapReduce CPU Time Spent: 6 seconds980 sec

**hive> show tables;**// 成功将结果写入新表

OK

customer\_age\_group

customer\_roj\_orders

customers

**hive> desc customer\_age\_group;**

OK

age string

age\_count bigint // 字段别名，hive给的默认数据类型是大整数

// 写入表时，按照统计结果的顺序写入

**hive> select \* from customer\_age\_group;**

OK

12 3

13 6

14 7

15 5

27 1

48 3

58 5

发表评论取消回复

表情：

评论列表（有 0 条评论，135人围观）

还没有评论，来说两句吧...

相关阅读

相关学习总结——hive数仓

学习总结——hive数仓数据仓库 * 概念：数据仓库是集成化的数据分析平台数据库：支持业务，支持事务（数据库读的压力大） ...

╰半橙微兮°/ 2024年04月18日 13:20/ 0 赞/ 82 阅读

相关统计单词数

统计单词数概述统计单词数是一种非常常见的算法题，在算法比赛之中也经常出现，作为一名曾经获得过蓝桥杯国家二等奖的，稍微懂一点点算法的博主（本质还是一名Java博主

我不是女神ヾ/ 2024年03月31日 14:53/ 0 赞/ 97 阅读

相关【Hive-原理说明】数仓原理 & Hive说明

【Hive-原理说明】数仓原理 & Hive说明 1）数据仓库的特征 2）数据库和数据仓库的区别 3）数据仓库的分层架构 4）Hive的架构说明

电玩女神/ 2023年10月05日 16:25/ 0 赞/ 20 阅读

相关数仓Hive-尚硅谷

第 1 章 Hive 基本概念 Hive及数据仓库，存储使用HDFS，计算引擎（Dirve）可以是MR、Spark、Flink hive应用于离线数据分析，一次写入多次

「爱情、让人受尽委屈。」/ 2023年01月16日 06:20/ 0 赞/ 116 阅读

相关数仓工具—Hive关键字(11)

Ｈive中的关键字关键字是任何一门语言中都要的一些字符，这些字符都有特殊的含义，一般情况下用户不能直接使用的，因为编译器对关键字是有特殊处理的。 Hive有一些保留的

￡神魔★判官ぃ/ 2022年12月30日 14:52/ 0 赞/ 256 阅读

相关数仓工具—Hive streaming(10)

streaming HIVE是通过利用或扩展Hadoop的组件功能来运行的，常见的抽象有InputFormat、OutputFormat、Mapper、Reducer，还

亦凉/ 2022年12月30日 14:51/ 0 赞/ 178 阅读

相关数仓工具—Hive优化

数据过滤行过滤行处理：在分区剪裁中，当使用外关联时，如果将副表的过滤条件写在Where后面，那么就会先全表关联，之后再过滤，列过滤列处理

淡淡的烟草味﹌/ 2022年12月28日 09:01/ 0 赞/ 238 阅读

相关一个hive数仓清洗小案例：单词统计

【需求】统计某一款产品的用户中，分别有多少用户是同一个年龄。例如25岁的有100人，60岁的有20人。 // 我已提前在hive数据仓库中建表customers，也已经把本地

比眉伴天荒/ 2022年10月01日 00:53/ 0 赞/ 135 阅读

相关数仓工具—Hive Beeline(21)

Beeline 前面我们介绍过hive 的命令行，其实就是hive 的老版命令行,你可以参考[Hive命令行][Hive],今天我们介绍一下hive 新的命令行beeli

末蓝、/ 2022年08月30日 00:53/ 0 赞/ 243 阅读

相关 05:统计单词数

05:统计单词数描述一般的文本编辑器都有查找单词的功能，该功能可以快速定位特定单词在文章中的位置，有的还能统计出特定单词在文章中出现的次数。现在，请你编程实现这

谁借莪１个温暖的怀抱￠/ 2022年04月03日 05:08/ 0 赞/ 266 阅读