Hive SQL 优化

叁歲伎倆 2021-09-21 14:34 406阅读 0赞

1.案例一

原sql：

select count(case when a.id in (select id from b) then 1 esle 0) from a;

结果总共数据：727  耗时:

2020-12-28 17:38:31 INFO Cost time is: 568.197s

改造后：

select count(case when b.id is not null then 1 else 0) from a
    left join b on a.id=b.id;

结果总共数据：727  耗时:

2020-12-28 17:36:41 INFO Cost time is: 417.218s

2.案例二

hive distinct 和 group by

> select count(distinct order\_no) from order\_snap;
> 
> Stage-Stage-1: Map: 396 Reduce: 1 Cumulative CPU: 7915.67 sec HDFS Read: 119072894175 HDFS Write: 10 SUCCESS
> 
> Total MapReduce CPU Time Spent: 0 days 2 hours 11 minutes 55 seconds 670 msec
> 
> OK
> 
> \_c0
> 
> 763191489
> 
> Time taken: 1818.864 seconds, Fetched: 1 row(s)

> select count(t.order\_no) from (select order\_no from order\_snap group by order\_no) t;
> 
> Stage-Stage-1: Map: 396 Reduce: 457 Cumulative CPU: 10056.7 sec HDFS Read: 119074266583 HDFS Write: 53469 SUCCESS
> 
> Stage-Stage-2: Map: 177 Reduce: 1 Cumulative CPU: 280.22 sec HDFS Read: 472596 HDFS Write: 10 SUCCESS
> 
> Total MapReduce CPU Time Spent: 0 days 2 hours 52 minutes 16 seconds 920 msec
> 
> OK
> 
> \_c0
> 
> 763191489
> 
> Time taken: 244.192 seconds, Fetched: 1 row(s)

注意到为什么会有这个差异，Hadoop其实就是处理大数据的，Hive并不怕数据有多大，怕的就是数据倾斜,我们看看两者的输出信息:

> \# distinct
> 
> Stage-Stage-1: Map: 396 Reduce: 1 Cumulative CPU: 7915.67 sec HDFS Read: 119072894175 HDFS Write: 10 SUCCESS
> 
> \# group by
> 
> Stage-Stage-1: Map: 396 Reduce: 457 Cumulative CPU: 10056.7 sec HDFS Read: 119074266583 HDFS Write: 53469 SUCCESS

发表评论取消回复

表情：

评论列表（有 0 条评论，406人围观）

还没有评论，来说两句吧...

相关阅读

相关 hive优化

-------------------- hive优化 -------------------- 1 Fetch抓取 Fetch抓取是指，Hive中对某些情况的查询

太过爱你忘了你带给我的痛/ 2022年11月22日 12:45/ 0 赞/ 248 阅读

相关 Hive Sql/ Spark Sql 数据倾斜优化方案

[(260条消息) spark sql 数据倾斜案例实操\_苏苏爱自由-CSDN博客\_spark sql 数据倾斜][260_ spark sql _-CSDN_spark

向右看齐/ 2022年10月16日 07:38/ 0 赞/ 244 阅读

相关 hive优化

1.jobs数比较多的作业运行效率比较低 2.sum，count，max,min等UDAF,hadoop优化不怕数据倾斜问题 3.set hive.groupby.sk

左手的ㄟ右手/ 2022年10月10日 12:49/ 0 赞/ 279 阅读

相关 Hive优化

Hive性能调校提高Hive总体性能的若干技巧本报告主要就如何提高Hive执行的总体性能进行了调研，下面以分条的形式列举出来。 1.设置 hive.map.

叁歲伎倆/ 2022年08月26日 00:52/ 0 赞/ 238 阅读

相关 Hive优化

优化手段合理控制Map和Reduce数合并小文件避免数据倾斜，解决数据倾斜减少job数（合并Job、大Job分拆……）一、 Map数和Redu

今天药忘吃喽~/ 2022年06月04日 00:26/ 0 赞/ 394 阅读

相关 hive优化

Map优化 1. 通过调整脚本的参数来设置map的个数，和设置block大小，block是影响map个数的关键因素直接设置map个数：set mapred.map.ta

深藏阁楼爱情的钟/ 2022年04月18日 02:33/ 0 赞/ 315 阅读

相关 Hive SQL执行原理和优化技巧笔记

导语时间飞梭而过，眼看这2018新年伊始，转眼间128大促已经落下帷幕，回顾过去的两周，协助大促监控和业务分析捞数竟然暂用了我大量的工作时间，期间不断的在用Hive S

缺乏、安全感/ 2022年04月04日 11:22/ 0 赞/ 536 阅读

相关 hive优化

1.当hive执行join内存溢出时，可以修改hive的配置文件hive-site.xml，增大内存，如下： mapred.child.java.opts -Xmx 1024m

绝地灬酷狼/ 2022年03月16日 13:56/ 0 赞/ 330 阅读

相关 hive优化

压缩之后的文件可以直接load到hive中去查看系统压缩方式的命令 Hadoop checknative 为false的说明没有安装实操过程中发现，当系统的某一资源繁忙

爱被打了一巴掌/ 2022年03月09日 07:56/ 0 赞/ 326 阅读

相关 Hive SQL 优化

1.案例一原sql： select count(case when a.id in (select id from b) then 1 esle 0) from

叁歲伎倆/ 2021年09月21日 14:34/ 0 赞/ 407 阅读