2.2 Hadoop-MapReduce配置YARN环境

亦凉 2022-05-25 14:10 193阅读 0赞

MapReduce是一个计算框架，可分为5个阶段

split-------Map------sort(洗牌)------reduce-----------数据输出

1，把需要分析的数据切割成片段，每个数据片段不能超过一个Block块

2，Map任务阶段，把切割好的数据片段读进来进行分析，有多少个片段就有多少任务，平行进行

3，洗牌阶段，把Map输出的数据进行排序，分组，分区等，不改变数据结构

4，reduce阶段，自己写处理代码，默认启动一个

5，输出阶段，决定reduce执行结果放哪，默认输出到HDFS某个节点

--------------------

配置YARN环境(/hadoop-2.5.2/etc/hadoop/)：

mapred-site.xml：复制模版创建

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

yarn-site.xml：

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce\_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.ha.enabled</name>

<value>true</value>

</property>

<property>

<name>yarn.resourcemanager.cluster-id</name>

<value>cluster1</value>

</property>

<property>

<name>yarn.resourcemanager.ha.rm-ids</name>

<value>rm1,rm2</value>

</property>

<property>

<name>yarn.resourcemanager.hostname.rm1</name> / /定义resourcemanager服务器

<value>node1</value> //自动定义datanode为NodeManager

</property>

<property>

<name>yarn.resourcemanager.hostname.rm2</name> //定义resourcemanager服务器

<value>node2</value>

</property>

<property>

<name>yarn.resourcemanager.zk-address</name>

<value> node2:4180,node3:4180,node4:4180</value> //注意zookeeper的端口号

</property>

修改完成，scp到其他几个服务器

/hadoop-2.5.2/sbin下

start-yarn.sh 默认启动所有resourcemanager和datamanager节点，当前启动的服务器为resourcemanager

./yarn-daemon.sh start resourcemanager 单独启动resourcemanager节点

[http://node1:8088/][http_node1_8088] 访问

启动./start-all 需要先启动zookeeper

[http_node1_8088]: http://node1:8088/

发表评论取消回复

表情：

评论列表（有 0 条评论，193人围观）

还没有评论，来说两句吧...

相关阅读

相关 Mac OSX上安装yarn配置环境变量

者今天用mac下载yarn，结果被困扰了一上午。。。第一个原因是因为下载Homebrew用了很久很久很久的时间。。第二个原因就是下载完yarn后使用不了，说找...

比眉伴天荒/ 2024年04月18日 14:59/ 0 赞/ 90 阅读

相关大数据Spark框架 5：Spark On Yarn环境配置

2. Spark On Yarn环境配置 2.1 Spark On Yarn的本质本质: 将Spark程序运行在Yarn集群中, 由Yarn完成资源调度工作 2.2

刺骨的言语ヽ痛彻心扉/ 2024年03月27日 18:40/ 0 赞/ 87 阅读

相关 Hadoop：Yarn生产环境核心参数配置案例

1）需求：从1G数据中，统计每个单词出现次数。服务器3台，每台配置4G内存，4核CPU，4线程。 2）需求分析： 1G / 128m = 8个MapTask；1个Redu

忘是亡心i/ 2024年03月17日 20:43/ 0 赞/ 76 阅读

相关 Hadoop Yarn生产环境核心配置参数

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

蔚落/ 2023年10月03日 03:31/ 0 赞/ 188 阅读

相关 Yarn 生产环境核心参数配置、多队列/优先级配置

本文目录 1.Yarn 生产环境核心参数配置案例 2.容量调度器多队列提交案例 2.1 配置多队列的容量调度器 2.2 向配置的hi

心已赠人/ 2023年01月17日 13:51/ 0 赞/ 127 阅读

相关 yarn 资源配置

转载： https://www.iteblog.com/archives/1945.html http://www.tuicool.com/articles/R

左手的ㄟ右手/ 2022年06月14日 00:14/ 0 赞/ 243 阅读

相关 Hadoop之配置yarn

1、配置mapred-site.xml 默认没有mapred-site.xml文件，但是有个mapred-site.xml.template配置模板文件。复制模板生成m

Bertha 。/ 2022年06月01日 11:07/ 0 赞/ 334 阅读

相关 2.2 Hadoop-MapReduce配置YARN环境

MapReduce是一个计算框架，可分为5个阶段 split-------Map------sort(洗牌)------reduce-----------数据输出 1，把需

亦凉/ 2022年05月25日 14:10/ 0 赞/ 194 阅读

相关 YARN 聚合日志配置

这种方式的话，顾名思义，就是说，将散落在集群中各个机器上的日志，最后都给聚合起来，让我们可以统一查看如果打开了日志聚合的选项，即yarn.log-aggregati

淡淡的烟草味﹌/ 2022年05月17日 04:39/ 0 赞/ 168 阅读

相关 Yarn框架深入理解【Yarn集群配置】

一、Yarn框架产生的背景与原因我们都知道Hadoop诞生的目标是为了支持十几台机器的搜索服务，但是随着数据的增加，数据的可用性也是一个待解决的问题。但是Hadoop框

￡神魔★判官ぃ/ 2022年02月23日 12:22/ 0 赞/ 801 阅读