[hive] hive的调优手段总结

红太狼 2023-06-13 09:49 10阅读 0赞

### 推荐 ###

[总结hive只能有一个reduce运行的情况及改善方法][hive_reduce]

## hive调优 ##

### 1 fetch抓取 ###

Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算  
在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认是minimal，该属性修改为more以后，在全局查找、字段查找、limit查找等都不走mapreduce。

[hive-site.xml]
    
      <property>
        <name>hive.fetch.task.conversion</name>
        <value>more</value>
        <description>
      </property>

### 2 本地模式 ###

在数据量比较小的时候,为查询触发执行任务消耗的时间可能会比实际job的执行时间要多的多,这时候hive可以通过本地模式在单台机器上处理所有的任务。

//开启本地模式
    set hive.exec.mode.local.auto=true;  
    //设置local mr的最大输入数据量，当输入数据量小于这个值时采用local mr的方式，默认为134217728，即128M
    set hive.exec.mode.local.auto.inputbytes.max=500000000;
    //设置local mr的最大输入文件个数，当输入文件个数小于这个值时采用local mr的方式，默认为4
    set hive.exec.mode.local.auto.input.files.max=10;

### 3. 表的优化 ###

3.1 大小表join(默认25M一下认为是小表)  
让小表放在join的左边,开启mapjoin,先把小表放入map端内存,减少了reducer操作,可以减少内存溢出错误和数据倾斜.  
如果小表足够小(默认小于25m)会启用mapjoin 在map端完成reduce的工作.

3.2 两张大表的join  
在join前先做条件过滤,比如空id过滤,如果业务要求空id不能直接过滤掉,可以给空id赋随机值防止数据倾斜

3.3 map端的聚合  
做group by操作的时候同一key的数据发给一个reducer,可能会发生数据倾斜,可以现在map端做部分聚合

（1）是否在Map端进行聚合，默认为True
    set hive.map.aggr = true
    （2）在Map端进行聚合操作的条目数目
    set hive.groupby.mapaggr.checkinterval = 100000
    （3）有数据倾斜的时候进行负载均衡（默认是false）
    set hive.groupby.skewindata = true

3.4 去重统计  
在数据量大的情况下,没有用group by直接使用COUNT DISTINCT只会启动一个reducer,数据量可能会过大job难以完成  
不用count distinct而用group by 和 count来代替L

3.5 笛卡尔积  
为了避免笛卡尔积,做join时一定要加条件

3.6 行列过滤  
在select中只拿需要的列,如果分区了就尽量使用分区过滤

3.7 分区  
Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。

3.8 动态分区调整  
根据分区字段的值将数据插入到对应的分区中

### 4 合理设置map数量和reduce数量 ###

map:  
主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；  
小文件多的时候要减少map数量,具体的做法就是执行查询前先合并小文件  
当input的文件都很大，任务逻辑复杂，map执行非常慢的时候，可以考虑增加Map数，来使得每个map处理的数据量减少，从而提高任务的执行效率。  
通过拆分文件来增加map数  
reduce:  
reduce个数的设定极大影响任务执行效率，不指定reduce个数的情况下，Hive会猜测确定一个reduce个数，基于以下两个设定：  
hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为256mb）  
hive.exec.reducers.max（每个任务最大的reduce数，默认为999）  
计算reducer数的公式很简单N=min(参数2，总输入数据量/参数1)  
即，如果reduce的输入（map的输出）总大小不超过256mb,那么只会有一个reduce任务；  
默认每个reducer处理256mb大小文件,一个任务最多有1009个reducer

map端:
    增加map数:
    //设置每个切片的最大值,举例设为100字节
    set mapreduce.input.fileinputformat.split.maxsize=100;
    减少map数:
    //在map执行前合并小文件,CombineHiveInputFormat具有对小文件进行合并的功能（系统默认的格式）。
    set hive.input.format= org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
    //在map-only任务结束时合并小文件，默认true
    set hive.merge.mapfiles = true;
    //在map-reduce任务结束时合并小文件，默认false
    set hive.merge.mapredfiles = true;
    //合并文件的大小，默认256M
    set hive.merge.size.per.task = 268435456;
    //当输出文件的平均大小小于该值时，启动一个独立的map-reduce任务进行文件merge
    set hive.merge.smallfiles.avgsize = 16777216;
    reduce端:
    //每个Reduce处理的数据量默认是256MB
    set hive.exec.reducers.bytes.per.reducer=256000000
    //每个任务最大的reduce数，默认为1009
    set hive.exec.reducers.max=1009
    //直接设定job任务的reduce数量(但是有时候reduce数量无论怎么设置只会是1,参考页面顶部的推荐部分)
    set mapreduce.job.reduces = 15;

### 5 并行执行 ###

Hive会将一个查询转化成一个或者多个阶段。这样的阶段可以是MapReduce阶段、抽样阶段、合并阶段、limit阶段。默认情况下,hive一次只执行一个阶段,但是其中某些非完全依赖的阶段可以并行执行,在系统资源比较空闲的情况下可以开启并行执行.

//打开任务并行执行
    set hive.exec.parallel=true;             
    //同一个sql允许最大并行度，默认为8。
    set hive.exec.parallel.thread.number=16;

### 6 JVM重用 ###

JVM重用是Hadoop调优参数的内容,对于小文件或task特别多的场景,jvm的启动过程会造成很大开销,JVM重用可以使得JVM实例在同一个job中重新使用N次。N的值可以在Hadoop的mapred-site.xml文件中进行配置,通常在10-20之间  
这个功能的缺点是，开启JVM重用将一直占用使用到的task插槽，以便进行重用，直到任务完成后才能释放。如果某个“不平衡的”job中有某几个reduce task执行的时间要比其他Reduce task消耗的时间多的多的话，那么保留的插槽就会一直空闲着却无法被其他的job使用，直到所有的task都结束了才会释放。

[mapred-site.xml]
    
    <property>
      <name>mapreduce.job.jvm.numtasks</name>
      <value>10</value>
    </property>

### 7 压缩 ###

指定hadoop的压缩格式和hive的存储格式可以有效增加磁盘利用率和提高效率.  
一般用snappy+orc.

[hive_reduce]: https://blog.csdn.net/a755199443/article/details/103095048