Hive 相关问题

客官°小女子只卖身不卖艺 2022-02-22 06:09 279阅读 0赞

### 前言 ###

本章主要收集一些`Hive`经常会遇到的问题. 由于本人没有在生产环境内使用过`Hive`. 所以, 本节的内容多为转载.

--------------------

### 相关问题 ###

*  数据倾斜问题?

> 数据倾斜的表现一般为某个`ReduceTask`上处理的数据过多, 某个`ReduceTask`无数据可处理.  
> 一般的数据倾斜都是发生在`ReduceTask`上面. 如果发生在`MapTask`上面会非常容易, 将数据重新切片或合并切片即可. 但是, 如果发生在`ReduceTask`上面, 一般会非常难以控制.(Hadoop的Partiton分片函数 & GroupingCompare函数 可以手动控制).  
> 常见的数据倾斜:
> 
>  *  `某个值为空`. 为什么空值会出现数据倾斜呢? 因为, `MR`计算的时候, 会将相同`Key`的数据放入迭代器传递. 即`<hello,1><hello,2><hello,10086>` 传递时候是这样的`<hello,<1,2,10086...>>`. 一旦相同的`Key`的数据项过多的时候, 定然会出现不均衡的情况. 而`Key值为空`又是这种情况的特殊情况. 遇到这样的问题, 一般有两种解决办法: `NULL Key`剔除、`NULL Key`更变为随机数字.
>  *  `字符串问题`, 遇到字符串有时也会被认为是同类的`Key`, 而被分配到同一个结点上.
>  *  `数据与Key分布不均`, 也就是和为空类似的情况. `Key 不多`, 比如`<Key1,100条><Key2,1W条>`. 那么必然负载不均衡了. 解决办法见下.
>  *  `大表转小表`. 当一个数据内重复数据较多的时候, 使用`distinct`关键字进行过滤.
>  *  `ReduceJoin`转为`MapJoin`. 当两个表内有一个小表, 可以将其存储在内存内, 在`MapTask`完成`Join`操作.
>  *  `双大表`. 双大表的情况, 就只能切表分块进行操作了. 即, `<表1> join <表2>`, 切分为`(<表1>join<表2-1>)union all (<表1> join <表2-2>)`. 将表水平进行切分.  
>     [Hive数据倾斜][Hive]  
>     [Hive的HQL语句及数据倾斜解决方案][Hive_HQL]  
>     [hive数据倾斜优化策略][hive]  
>     [Hive数据倾斜解决方法总结][Hive 1]  
>     [大数据常见问题之数据倾斜][Link 1]  
>     [hive的数据倾斜解决策略][hive 1]

*  `Hive`多表`Join`操作  
    [hive进行多表join如何处理][hive_join]  
    [hive的6种join操作][hive_6_join]  
    [轻松玩转hive中各种join之间的关系以及使用][hive_join 1]
 *  `Hive`内的`MapTask`和`ReduceTask`个数如何指定?

>  *  MapTask数目通常与文件大小有关. (700M文件A和10M文件B, 会被分成`700/128 + 10/128=6+1=7`个`MapTask`.) 当然,我们有时候会希望分片大些或分片小写. 这些都是可以调整的. 比如:10M文件A,10M文件B,10M文件C, 当小文件过多时,可以合并处理. 但是, 当某些处理过于复杂的时候,我们又会希望, 文件的分片越小越好. 可以使用`partition`的策略将表进行分片. 总之, MapTask的数据应当与数据规模有关.
>  *  ReduceTask数目同理, 也是与数据规模有关. 计算公式`reduceTaskNum=min(maxReduceTaskNum, 总输入数据量/每个ReduceTask数据量(默认1G))`. 可以通过调整计算公式内的两个参数来进行调整`ReduceTask`.
>  *  `ReduceTask`为1的情况: `笛卡尔集计算`/`order by 造成全表搜索`/`未使用Group BY?<个人感觉Group BY即 Hadoop MR的Combiner功能.>`  
>     [Hive任务优化–控制hive任务中的map数和reduce数][Hive_hive_map_reduce]  
>     [Hive之GROUP BY详解][Hive_GROUP BY]

*  数据优化要点  
    [Hadoop学习（十五）——hive优化][Hadoop_hive]  
    [Hive 作业优化][Hive 2]
 *  Others  
    [Hive必备手册，这8点你一定用得到！][Hive_8]  
    [大数据时代的争议：Spark 能替代 Hive 吗？][Spark _ Hive]

[Hive]: https://www.cnblogs.com/skyl/p/4855099.html
[Hive_HQL]: https://blog.csdn.net/sdksdk0/article/details/51675005
[hive]: https://blog.csdn.net/qq_35036995/article/details/80298403
[Hive 1]: https://www.cnblogs.com/kongcong/p/7777092.html
[Link 1]: https://blog.csdn.net/u010039929/article/details/55044407
[hive 1]: https://blog.csdn.net/boychenwl_star/article/details/77049706
[hive_join]: https://jingyan.baidu.com/article/a948d651ce82300a2ccd2e5b.html
[hive_6_join]: https://blog.csdn.net/songchunhong/article/details/78887326
[hive_join 1]: https://blog.csdn.net/qq_26442553/article/details/79465608
[Hive_hive_map_reduce]: https://blog.csdn.net/michael_zhu_2004/article/details/8284089
[Hive_GROUP BY]: http://www.mamicode.com/info-detail-2292193.html
[Hadoop_hive]: https://blog.csdn.net/livan1234/article/details/81007582
[Hive 2]: https://www.cnblogs.com/Allen-rg/p/9273390.html
[Hive_8]: https://blog.csdn.net/xshow_xs/article/details/54135905
[Spark _ Hive]: https://cloud.tencent.com/developer/article/1357435