Hadoop伪分布式 => 配置日志聚集

短命女 2023-07-22 14:25 153阅读 0赞

日志聚集：将程序运行的log文件（日志信息），上传到HDFS系统上，可以通过网页浏览

> 注意：开启日志聚集功能 ，需要重新启动 NodeManager, ResourceManager, HistoryManager

sbin/mr-jobhistory-daemon.sh stop historyserver  
sbin/yarn-daemon.sh stop nodemanager  
sbin/yarn-daemon.sh stop resourcemanager

cd /opt/module/hadoop-2.9.2

sudo vim etc/hadoop/yarn-site.xml

在<configuration></configuration>中间加入下面内容

<property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    
    
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>

**启动集群：**

sbin/yarn-daemon.sh start nodemanager  
sbin/yarn-daemon.sh start resourcemanager  
sbin/mr-jobhistory-daemon.sh start historyserver

删除输出文件夹：

bin/hdfs dfs -rm -r /user/atguigu/output

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /user/atguigu/input /user/atguigu/output

查看logs

![20200406110951620.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODg4MzMzOA_size_16_color_FFFFFF_t_70][]

[20200406110951620.png]: /images/20230528/1765ac2a18604b7aadc3ddf32abb93d5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODg4MzMzOA_size_16_color_FFFFFF_t_70]: /images/20230528/976d0599e15e4765a74ec5225857c22c.png

发表评论取消回复

表情：

评论列表（有 0 条评论，153人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop安装与伪分布式配置

文章目录 1.hadoop cdh下载地址 2.下载 3.解压 4.添加环境变量 5.配置Hadoop文件 1.hadoop cdh下载

比眉伴天荒/ 2023年07月24日 08:44/ 0 赞/ 29 阅读

相关 Hadoop伪分布式 => 配置日志聚集

日志聚集：将程序运行的log文件（日志信息），上传到HDFS系统上，可以通过网页浏览 > 注意：开启日志聚集功能，需要重新启动 NodeManager, ResourceM

短命女/ 2023年07月22日 14:25/ 0 赞/ 154 阅读

相关 Hadoop伪分布式 => 配置历史服务器

配置： cd /opt/module/hadoop-2.9.2 sudo vim etc/hadoop/mapred-site.xml 在<configuration><

谁践踏了优雅/ 2023年07月22日 14:24/ 0 赞/ 12 阅读

相关 Linux下配置Hadoop伪分布式环境

> 一、环境资源 JDK和Hadoop存在版本兼容问题，选择安装包的时候一定要考虑到两个软件的版本兼容，我这里选择的安装版本如下： JDK1.8：https://pa

ゞ浴缸里的玫瑰/ 2023年02月20日 08:23/ 0 赞/ 26 阅读

相关 Hadoop安装教程_单机/伪分布式配置

转载自[Hadoop安装教程\_单机/伪分布式配置\_CentOS6.4/Hadoop2.6.0][Hadoop_CentOS6.4_Hadoop2.6.0] 本 Hadoo

约定不等于承诺〃/ 2022年08月21日 00:18/ 0 赞/ 220 阅读

相关 centos7配置hadoop伪分布式

1.停止防火墙 systemctl stop firewalld.service systemctl disable firewalld.service 2.s

今天药忘吃喽~/ 2022年06月14日 01:19/ 0 赞/ 255 阅读

相关 Hadoop之配置伪分布式集群

1、配置Hadoop环境变量 [hadoop@bigdata-senior01 hadoop] vim /etc/profile 追加配置： expo

Dear 丶/ 2022年06月02日 05:09/ 0 赞/ 256 阅读

相关【Hadoop】配置环境-伪分布式

[【Hadoop】配置环境-伪分布式][Hadoop_-] > 目录 > > 1.Linux设置静态IP地址 > 2.修改主机名和映射文件 > 3

深藏阁楼爱情的钟/ 2022年04月24日 04:34/ 0 赞/ 346 阅读

相关伪分布式问题二（配置日志服务）

伪分布式问题二（配置日志服务） 1.引出 1.1点击logs无法显示日志信息 2.解决 2.1配置yarn-site.xml

小鱼儿/ 2022年04月06日 04:40/ 0 赞/ 211 阅读

相关 hadoop 伪分布式配置关键点

配置hadoop 的环境变量（所有的环境变量都是必须的） su vim /etc/profile export HADOOP\_INSTALL=/usr/

Love The Way You Lie/ 2021年09月11日 04:54/ 0 赞/ 545 阅读