hive设置参数进行性能优化

客官°小女子只卖身不卖艺 2023-06-05 12:37 24阅读 0赞

set hive.merge.mapredfiles=true;  
set hive.merge.mapfiles=true;  
set mapred.max.split.size=5073741824;  
set dfs.block.size=1073741824;  
set mapreduce.map.memory.mb=8196;  
set mapreduce.reduce.memory.mb=8196;

set hive.exec.compress.intermediate=true;  
set hive.intermediate.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;

set hive.exec.parallel=true;  
set hive.exec.parallel.thread.number=8;

\--压缩设置  
set mapred.compress.map.output = true;  
set mapred.output.compress = true;  
set hive.exec.compress.output = true;  
\--输出设置  
set hive.merge.mapfiles = true;  
set hive.merge.mapredfiles = true;  
set hive.merge.size.per.task = 256000000;  
set hive.merge.smallfiles.avgsize = 128000000;  
\--输入设置  
set hive.input.format = org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;  
set mapred.min.split.size = 256000000;  
set mapred.min.split.size.per.node = 256000000;  
set mapred.min.split.size.per.rack = 256000000;  
set hive.exec.reducers.bytes.per.reducer = 256000000;

转载于:https://www.cnblogs.com/lidapengwww/p/11463604.html

发表评论取消回复

表情：

评论列表（有 0 条评论，24人围观）

还没有评论，来说两句吧...

相关阅读

相关优化Oracle数据库性能：合理设置数据库参数

\[ 系列文章篇 \] [优化 Oracle 数据库性能：LIKE 操作的优化][_Oracle_ _LIKE_] [优化 Oracle 数据库性能：合理使用表分区][

蔚落/ 2024年03月16日 22:43/ 0 赞/ 69 阅读

相关【Hive-优化】Hive的优化方式一（通过ClouderaManager进行参数优化）

【Hive-优化】Hive的优化方式一（通过ClouderaManager进行参数优化） 1）HDFS副本数 2）Yarn基础配置 2.1.nod

迈不过友情╰/ 2023年10月05日 16:26/ 0 赞/ 18 阅读

相关 hive设置参数进行性能优化

set hive.merge.mapredfiles=true; set hive.merge.mapfiles=true; set mapred.max.split.

客官°小女子只卖身不卖艺/ 2023年06月05日 12:37/ 0 赞/ 25 阅读

相关 Hive之MapReduce性能优化

Hive优化一、Hive任务创建文件数优化 1.1 Map端文件合并减少Map任务数量一般来说，HDFS的默认文件块大小是128M，如果在Hive执行任务

爱被打了一巴掌/ 2022年12月08日 15:49/ 0 赞/ 325 阅读

相关 hive 参数优化

运行速度快的参数设置 SET hive.exec.dynamic.partition = true; SET hive.exec.dynamic.partition.mo

曾经终败给现在/ 2022年10月07日 14:57/ 0 赞/ 58 阅读

相关【性能优化】Hive优化

1.概述　　继续《[那些年使用Hive踩过的坑][Hive]》一文中的剩余部分，本篇博客赘述了在工作中总结[Hive][Hive 1]的常用优化手段和在工作中使用Hiv

川长思鸟来/ 2022年06月18日 05:14/ 0 赞/ 430 阅读

相关 Tomcat性能参数设置

https://blog.csdn.net/chinadeng/article/details/6591542 [Tomcat性能参数设置][Tomcat] 2010

太过爱你忘了你带给我的痛/ 2022年05月20日 00:00/ 0 赞/ 191 阅读

相关 Hive性能优化（全面）

Hive性能优化（全面）原文地址：[https://blog.csdn.net/qq\_36421826/article/details/82112373\com

古城微笑少年丶/ 2022年04月22日 04:10/ 0 赞/ 328 阅读

相关 Hive性能优化秘籍

1. Fetch抓取 Fetch 抓取是指，Hive 中对某些情况的查询可以不必使用 MapReduce 计算。例如：SELECT \ FROM employees; 在

- 日理万妓/ 2022年01月31日 05:25/ 0 赞/ 332 阅读

相关 tomcat 性能参数优化

tomcat 性能参数优化以下参数存在文件：apache-tomcat-7.0.54/conf/server.xml （1）、maxHttpHeaderSize=”8...

朱雀/ 2020年11月17日 10:53/ 0 赞/ 1016 阅读