hive基于多列去重操作

冷不防 2022-04-18 03:21 663阅读 0赞

### 文章目录 ###

*  解决思路
 *  例子

# 解决思路 #

一种解决思路是使用group by。即group by用于判断数据重复的多个字段，再使用：

> collect\_set(非group by字段)\[0\]

从group by获取的数据中随意取一个非group by字段。

# 例子 #

例如，有下表：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70]  
我需要以前两列的字段作为判断重复的标准，即user\_name和commentid字段。如若重复，其他列随机取字段值就行了。如下为hive操作语句：

SELECT user_name,commentid,collect_set(title)[0] as title,collect_set(source)[0] as source,
    collect_set(content)[0] as content ,collect_set(time)[0] as time,collect_set(car_model)[0] as car_model
     FROM user_2morecars GROUP BY user_name,commentid；

如下为hive语句的执行结果：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 1]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70]: /images/20220418/755364eb1c5d4a8481e6a0c0c0a50f73.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 1]: /images/20220418/5669a99d48394374a69c98c41f78e9c4.png

发表评论取消回复

表情：

评论列表（有 0 条评论，663人围观）

还没有评论，来说两句吧...

相关阅读

相关 java Stream去重操作

1.根据对象的某个属性去重: 网上找的stream流去重方法，可以根据类的某个属性去重，这里记录一下 / 只获取重复的数据

女爷i/ 2024年03月17日 12:23/ 0 赞/ 68 阅读

相关 HIVE调优之去重统计

SELECT COUNT( DISTINCT id ) FROM TABLE_NAME WHERE ...; ![hive_count_job1.jpg][] 对一个

傷城~/ 2023年08月17日 15:18/ 0 赞/ 114 阅读

相关 sql 两列去重_几种去重的SQL写法

墨天轮社区的每日一题(https://www.modb.pro/test)，可以说是个小而精的专栏，利用碎片时间，就可以学习知识，非常推荐。这是其中一道，考的就是SQL语法

淡淡的烟草味﹌/ 2023年01月12日 10:24/ 0 赞/ 380 阅读

相关 String 的去重操作

一点睛注意这里说的重复，指的是在堆中的数据，而不是常量池中的，因为常量池中的本身就不会重复。背景：对许多 Java 应用（有大的也有小的）做的测试得出以下结果：

痛定思痛。/ 2022年08月30日 11:20/ 0 赞/ 233 阅读

相关 Hive数据去重、多变一与一变多等实现

Hive数据去重、多变一与一变多等实现 0. 数据准备 0.1 数据文件本机的/usr/local/share/applications/hive/data/

梦里梦外;/ 2022年06月07日 00:15/ 0 赞/ 268 阅读

相关 Hive数据去重方法记录

Hive数据去重语句 insert overwrite table ad_click_info select t.ad_id,t.ad_date fr

梦里梦外;/ 2022年05月21日 00:22/ 0 赞/ 215 阅读

相关 hive 学习系列六 hive 去重办法的思考

方法1，建立临时表，利用hive的collect\_set 进行去重。 create table if not exists tubutest (

缺乏、安全感/ 2022年05月11日 00:00/ 0 赞/ 539 阅读

相关 hive基于多列去重操作

文章目录解决思路例子解决思路一种解决思路是使用group by。即group by用于判断数据重复的多个字段，再使用： > collect\

冷不防/ 2022年04月18日 03:21/ 0 赞/ 664 阅读

相关 Hive--行转列（Lateral View explode()）和列转行（collect_set() 去重）

一行转多行说明：lateral view用于和split、explode等UDTF一起使用的，能将一行数据拆分成多行数据，在此基础上可以对拆分的数据进行聚合，late

忘是亡心i/ 2021年11月05日 18:44/ 0 赞/ 555 阅读

相关 hive列转行（collect_all()/collect_list() 不去重）

collect\_all() hive 0.12 collect\_list() hive 0.13 一、问题 hive如何将 a

怼烎@/ 2021年06月24日 14:36/ 0 赞/ 540 阅读