hive 排序

朱雀 2023-06-12 06:18 8阅读 0赞

#### 1、全局排序（order by） ####

`Order by：全局排序，只有一个reducer`

**ASC（ascend**）：升序（默认）

**DESC（descend）**：降序

#### 2、每个MR内部排序（sort by） ####

sort By：对于大规模的数据集order by的效率非常低。在很多情况下，并不需要全局排序，此时可以使用sort by

Sort By为每个Reducer产生一个排序文件。每个Reducer内部进行排序，对全局结果集来说不是排序。

（1）设置reduce个数

hive (default)> set mapreduce.job.reduces=3;

（2）根据部分编号降序查看员工信息

hive (default)> select * from emp sort by empno desc;

#### 3、分区排序（Distribute By） ####

Distribute By：在某些情况下，我们需要控制某个特定行应该到哪个Reducer，通常是为了后续的聚集操作。

Distribute by类似MR中partition（自定义分区），进行分区，结合sort by使用

测试时要分配多个reduce进行处理，否则无法看到Distribute by的效果

set mapreduce.job.reduces=3;

注意：

*  Distribute by的分区规则是根据分区字段的hashcode与reduce的个数进行取模后，余数相同的分到一个区
 *  hive要求Distribute by语句要写在sort by语句之前

#### 4、cluster by ####

当Distribute by 和sort by 字段相同时，可以使用cluster by 方式

cluster by除了具有distribute by的功能外还兼具sort by的功能。但是排序`只能是升序排序`，不能指定排序规则为ASC或者DESC。

1）以下两种写法等价

hive (default)> select * from emp cluster by deptno;
    
    hive (default)> select * from emp distribute by deptno sort by deptno;

发表评论取消回复

表情：

评论列表（有 0 条评论，8人围观）

还没有评论，来说两句吧...

相关阅读

相关 HIVE之排序

ORDER BY是全局排序，但在数据量大的情况下，花费时间会很长 SORT BY是将reduce的单个输出进行排序，不能保证全局有序 DISTRIBUTE B

朴灿烈づ我的快乐病毒、/ 2023年08月17日 15:18/ 0 赞/ 103 阅读

相关 hive 排序

1、全局排序（order by） `Order by：全局排序，只有一个reducer` ASC（ascend）：升序（默认） DESC（descend）：降序

朱雀/ 2023年06月12日 06:18/ 0 赞/ 9 阅读

相关 Hive-排序

排序 dense\_rank() over 成绩相同的两个人编号也相同, 且下一个编号是连续的, 不会跨越 ![rank() over][rank

曾经终败给现在/ 2023年06月03日 06:59/ 0 赞/ 14 阅读

相关 Hive-全局排序、内部排序、分区、分区排序

排序文章目录排序全局排序（Order By）每个Reduce内部排序（Sort By）

清疚/ 2023年03月04日 09:04/ 0 赞/ 20 阅读

相关 Hive优化----排序

在hive中进行字段排序统计过程中，使用ORDER BY是全局排序，hive只能通过一个reduce进行排序.效率很低，采用hive提供的distribute by +sort

拼搏现实的明天。/ 2023年01月21日 15:20/ 0 赞/ 4 阅读

相关 HIVE排序函数大小写敏感

hive版本： 0.11.0 在执行dense\_rank hive语句： select DENSE\_RANK() OVER(PARTITION BY mcc ORDE

灰太狼/ 2022年09月17日 10:20/ 0 赞/ 242 阅读

相关 hive 排序特性研究

1. 排序定义：所谓排序就是使一串记录，按照其中的某个或某些关键字，递增或是递减的排列。 2. hive 中排序相关内容 2.1 order by orde

分手后的思念是犯贱/ 2022年08月07日 10:52/ 0 赞/ 167 阅读

相关 HIVE 排序总结

HIVE 排序总结 ORDER BY Hive中的order by语句用于对查询结果集执行一个全局排序。这也就是说会有一个所有的数据都通过特格reducer进行处理

末蓝、/ 2022年06月10日 14:36/ 0 赞/ 262 阅读

相关 Hive(十八)--全局排序

不分发数据，使用单个reducer ![复制代码][copycode.gif] set mapred.reduce.tasks=1; select

素颜马尾好姑娘i/ 2022年06月09日 05:21/ 0 赞/ 212 阅读

相关 Hive(十七)--排序

order by order by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）只有一个reducer，会导致当输入规模较大

你的名字/ 2022年06月09日 05:20/ 0 赞/ 184 阅读