轻松入门大数据第5章入门到进阶：玩转资源管理系统YARN 5.1 Hadoop之YARN 5.1.7 YARN单节点部署

古城微笑少年丶 2024-03-17 09:42 19阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第5章 入门到进阶：玩转资源管理系统YARN
         *   *  5.1 Hadoop之YARN
             *   *  5.1.7 YARN单节点部署

![在这里插入图片描述][aee0e4597f9d40a3ad42991812140216.png_pic_center]

#### 第5章 入门到进阶：玩转资源管理系统YARN ####

##### 5.1 Hadoop之YARN #####

> 1.  产生背景
> 2.  核心组件及职责
> 3.  工作原理
> 4.  环境部署
> 5.  核心命令
> 6.  调度器

###### 5.1.7 YARN单节点部署 ######

看到官网文档：[https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/YARN.html][https_hadoop.apache.org_docs_stable_hadoop-yarn_hadoop-yarn-site_YARN.html]

![在这里插入图片描述][7290b1b090514d8cbd15546fcd59b343.png_pic_center]

[https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html][https_hadoop.apache.org_docs_stable_hadoop-project-dist_hadoop-common_SingleCluster.html]

![在这里插入图片描述][6ec33046f916416c973b63241a82b2ba.png_pic_center]

往下滑

![在这里插入图片描述][e343d4a69122407ca7e4e9735d7cc519.png_pic_center]

这里，来吧试试

首先是\`\`etc/hadoop/mapred-site.xml`:`

![在这里插入图片描述][cea365e98cba4239adb6167c77790e96.png_pic_center]

做之前先把NN、DN、SNN 跑起来`./start-dfs.sh`

![在这里插入图片描述][7df56650edd34f299d1d35a7168d9e13.png_pic_center]

其他大家就不用管了，是笔者的其他进程，有这三个就行了

然后运行`./start-yarn.sh`

![在这里插入图片描述][9398d049ba054c8e9df67672484821fb.png_pic_center]

这是RM 和 NM

访问一下UI，端口号8088( HDFS 是9870 )

![在这里插入图片描述][bc876c8c9f794d30aca03a20585ea7ad.png_pic_center]

没问题

![在这里插入图片描述][f6b4ae25fa20425aa0ea45cab993ba84.png_pic_center]

一个活的节点

然后其他东西基本上都是0，因为我们还是第一次启动呢

![在这里插入图片描述][d816ca53e5a24e7989ec820522ff4d32.png_pic_center]

看到这个

![在这里插入图片描述][466b3984713c4692a56e9d189ae7a1c1.png_pic_center]

调度器，接下来就是如何跑作业了。

[aee0e4597f9d40a3ad42991812140216.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/abc3b91174fe4f6cacf79df23aba8205.png
[https_hadoop.apache.org_docs_stable_hadoop-yarn_hadoop-yarn-site_YARN.html]: https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/YARN.html
[7290b1b090514d8cbd15546fcd59b343.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/bce4b17bcc234be5aac35d6d1d44ac89.png
[https_hadoop.apache.org_docs_stable_hadoop-project-dist_hadoop-common_SingleCluster.html]: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
[6ec33046f916416c973b63241a82b2ba.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/5d2be137e1604ca9b24cb906b4dd47cd.png
[e343d4a69122407ca7e4e9735d7cc519.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/b9e2450431d04a1c9f889745725cf7a6.png
[cea365e98cba4239adb6167c77790e96.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/af1fb56f7f774e7baf5b782c1ea1c5e2.png
[7df56650edd34f299d1d35a7168d9e13.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/0b40b6a554ea4f31b2709eb74d0043ab.png
[9398d049ba054c8e9df67672484821fb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/6c1db98050304d0190159c055c805535.png
[bc876c8c9f794d30aca03a20585ea7ad.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/52f97f20f3434bd68e52032b3dad3acb.png
[f6b4ae25fa20425aa0ea45cab993ba84.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/074bb5bf8dbb4ae0aee27ea26d33a696.png
[d816ca53e5a24e7989ec820522ff4d32.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/bba3428d0dd34ab499c379fa2d2c4388.png
[466b3984713c4692a56e9d189ae7a1c1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/65cfe2d5236c4fbaaad7c3b220e9440a.png