hive小文件问题及解决方法【重要】

蔚落 2023-10-14 11:52 6阅读 0赞

**一、小文件形成的原因：**

（1）动态分区插入数据，产生大量的小文件，从而导致 map 数量剧增；

（2）reduce 数量越多，小文件也越多，reduce 的个数和输出文件个数一致；

（3）数据源本身就是大量小文件；

**二、小文件的危害：**

（1）在 HDFS 中，  每个文件均   **按块存储，**  每个文件在 NameNode 中存储大约占 150 个字节，  **与块大小无关，**  如果小文件过多，则会耗尽 NameNode 中的大多数内存。

（2）从Hive角度看，小文件过多也会影响 MR 的执行任务的数量，  **一个小文件会开启一个 MapTask，同时**   **一个map会开一个JVM去执行**  ，  任务过多则会导致频繁的开启关闭，  浪费大量的资源，严重影响性能。

**三、解决小文件问题常见方法：**

**解决小文件问题的本质就是将小文件进行合并，可以通过以下几种方式解决小文件问题：**

**1. 使用 hive 自带的 concatenate 命令，自动合并小文件**

**2. 调整参数减少Map数量、Reduce数量**

**（1）减少map数量：**  执行Map前可以对小 文件进行合并，使用CombineHiveInputFormat，它底层是haddoop的CombineFileInputFormat方法，此方法可以在mapper中将多个文件合成一个split作为输入

**（2）减少Reduce数量：**  Reduce的个数决定输出的文件的个数，所以可以调整Reduce的个数来控制hive表的文件数量。hive中的分区函数distribute by 正好是控制MR中partition分区的，所以通过设置reduce数量，再结合分区函数让数据均衡的进入每个reduce即可。

**3.**   **使用 Hadoop Archive（HAR）将小文件进行归档：**   使用 Hadoop 自带的 HAR 将小文件进行归档，将多个小文件打包成一个 HAR 文件，这样 NameNode 中的元数据也就存储一份。在减少 namenode 内存使用的同时，仍然可以对文件进行透明的访问。

>  参考：  [ 数仓面试高频考点--解决hive小文件过多问题 (qq.com) ][_--_hive_ _qq.com_]

[_--_hive_ _qq.com_]: https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzg2MzU2MDYzOA%3D%3D%26mid%3D2247483683%26idx%3D1%26sn%3D14b25010032bdf0d375080e48de36d7f%26chksm%3Dce77f7f2f9007ee49d773367f2d7abbf708a2e0e18a55794fcd797944ac73ccc88a41d253d6b%26token%3D1679639512%26lang%3Dzh_CN