Hadoop Yarn常用参数配置项整理

浅浅的花香味﹌ 2022-09-13 06:21 178阅读 0赞

（1）Resourcemanager 相关

yarn.resourcemanager.scheduler.client.thread-count ResourceManager 处理调度器请求的线程数量
    yarn.resourcemanager.scheduler.class 配置调度器

（2）Nodemanager 相关

yarn.nodemanager.resource.memory-mb NodeManager 使用内存数
    yarn.nodemanager.resource.system-reserved-memory-mb NodeManager 为系统保留多少内存，和上一个参数二者取一即可
    yarn.nodemanager.resource.cpu-vcores NodeManager 使用 CPU 核数
    yarn.nodemanager.resource.count-logical-processors-as-cores 是否将虚拟核数当作 CPU 核数
    yarn.nodemanager.resource.pcores-vcores-multiplier 虚拟核数和物理核数乘数，例如：4 核 8 线程，该参数就应设为 2
    yarn.nodemanager.resource.detect-hardware-capabilities 是否让 yarn 自己检测硬件进行配置
    yarn.nodemanager.pmem-check-enabled 是否开启物理内存检查限制 container
    yarn.nodemanager.vmem-check-enabled 是否开启虚拟内存检查限制 container
    yarn.nodemanager.vmem-pmem-ratio 虚拟内存物理内存比例

（3）Container 容器相关

yarn.scheduler.minimum-allocation-mb 容器最小内存
    yarn.scheduler.maximum-allocation-mb 容器最大内存
    yarn.scheduler.minimum-allocation-vcores 容器最小核数
    yarn.scheduler.maximum-allocation-vcores 容器最大核数

发表评论取消回复

表情：

评论列表（有 0 条评论，178人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop：Yarn生产环境核心参数配置案例

1）需求：从1G数据中，统计每个单词出现次数。服务器3台，每台配置4G内存，4核CPU，4线程。 2）需求分析： 1G / 128m = 8个MapTask；1个Redu

忘是亡心i/ 2024年03月17日 20:43/ 0 赞/ 76 阅读

相关【Hadoop-Yarn】Yarn的常用命令

【Hadoop-Yarn】Yarn的常用命令 1）查看任务列表 2）杀死任务 3）查看日志 4）根据 Application 状态过滤任务

爱被打了一巴掌/ 2023年10月09日 21:34/ 0 赞/ 60 阅读

相关 Hadoop Yarn生产环境核心配置参数

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

蔚落/ 2023年10月03日 03:31/ 0 赞/ 188 阅读

相关 webpack 常用配置项

const path = require('path'); moudule.exports = { // entry 表示入口webpack

雨点打透心脏的1/2处/ 2023年05月30日 10:51/ 0 赞/ 21 阅读

相关 vue配置项常用配置

vue配置项常用配置在vue.config.js下面修改 const config={ publicPath:"./", //默认是“/”

绝地灬酷狼/ 2022年12月20日 06:08/ 0 赞/ 195 阅读

相关 Hadoop Yarn常用参数配置项整理

（1）Resourcemanager 相关 yarn.resourcemanager.scheduler.client.thread-count ResourceMa

浅浅的花香味﹌/ 2022年09月13日 06:21/ 0 赞/ 179 阅读

相关 Hadoop YARN配置参数剖析(3)—MapReduce相关参数

MapReduce相关配置参数分为两部分，分别是JobHistory Server和应用程序参数，Job History可运行在一个独立节点上，而应用程序参数则可存放在mapr

末蓝、/ 2022年08月18日 05:45/ 0 赞/ 171 阅读

相关 Hadoop YARN配置参数剖析(4)—Fair Scheduler相关参数

首先在yarn-site.xml中，将配置参数yarn.resourcemanager.scheduler.class设置为org.apache.hadoop.yarn.ser

电玩女神/ 2022年06月03日 06:05/ 0 赞/ 191 阅读

相关 Hadoop之配置yarn

1、配置mapred-site.xml 默认没有mapred-site.xml文件，但是有个mapred-site.xml.template配置模板文件。复制模板生成m

Bertha 。/ 2022年06月01日 11:07/ 0 赞/ 334 阅读

相关 SpringBoot常用配置项

> 在springBoot项目常用的配置项，很全面，在application.properties中修改即可，配置项后用等号直接连接配置的值即可， > > 如：spri

电玩女神/ 2022年02月27日 01:46/ 0 赞/ 275 阅读