Spark历史服务器配置与使用

落日映苍穹つ 2021-11-09 03:44 366阅读 0赞

# 介绍 #

spark也有历史服务器，监控已经运行完成的spark application  
[start-history-server.sh][]  
（1）将application运行的日志信息保存起来  
MapReduce运行的时候，启动了日期聚集功能：将日志信息 上传到HDFS目录  
（2）启动一个服务读取日志信息，以便前端页面展示  
MrHistoryServer

# 配置Spark HistoryServer #

## 1. 将我们application EventLog保存到HDFS ##

spark.eventLog.enabled=true
    spark.eventLog.dir=hdfs:// bigdata-hpsk01.huadian.com:8020/datas/spark/eventLogs
    备注：/datas/spark/eventLogs需要提前创建好
    spark.eventLog.compress=true
    spark.io.compression.codec

## 将上面4个配置属性放哪里 ##

### 针对于某一个应用配置 ###

### 编码实现，在config对象中配置 ###

### 命令行参数中配置 ###

### 所有的应用配置—全局配置 ###

放在配置文件中
    	spark-defaults.conf

## 2.启动HistoryServer读取日志进行展示 ##

我从哪里去读取这些日志信息
    	配置：spark-evn.sh

### 执行命令 ###

bin/spark-shell \
    --master spark://bigdata-hpsk01.huadian.com:7077 \
    --conf spark.eventLog.enabled=true \
    --conf spark.eventLog.dir=hdfs://bigdata-hpsk01.huadian.com:8020/datas/spark/eventLogs \
    --conf spark.eventLog.compress=true \
    --executor-cores 1 \
    --total-executor-cores 2 \
    --driver-memory 512M \
    --executor-memory 512M

## 3.查看 ##

通过18080 查看  
[http://bigdata-hpsk01.huadian.com:18080/][http_bigdata-hpsk01.huadian.com_18080]

[start-history-server.sh]: http://start-history-server.sh
[http_bigdata-hpsk01.huadian.com_18080]: http://bigdata-hpsk01.huadian.com:18080/

发表评论取消回复

表情：

评论列表（有 0 条评论，366人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop 之 Spark 配置与使用（五）

Hadoop 之 Spark 配置与使用一.Spark 配置 1.Spark 下载 2.单机测试环境配置 3.集群配置

╰半夏微凉°/ 2023年10月13日 19:48/ 0 赞/ 52 阅读

相关 spark 历史版本下载地址

[https://archive.apache.org/dist/spark/][https_archive.apache.org_dist_spark] ![waterma

旧城等待，/ 2023年10月04日 14:40/ 0 赞/ 32 阅读

相关配置 spark 历史服务器

在 `Spark-shell` 没有退出之前, 我们是可以看到正在执行的任务的日志情况，一旦任务执行结束，`web-ui` 就不能看到历史任务，需要额外配置历史服务器 1.

系统管理员/ 2023年09月29日 18:47/ 0 赞/ 10 阅读

相关 Hadoop伪分布式 => 配置历史服务器

配置： cd /opt/module/hadoop-2.9.2 sudo vim etc/hadoop/mapred-site.xml 在<configuration><

谁践踏了优雅/ 2023年07月22日 14:24/ 0 赞/ 12 阅读

相关 spark系列2：spark集群的配置与使用

2. Spark 集群搭建目标 1. 从 Spark 的集群架构开始, 理解分布式环境, 以及 Spark 的运行原理 2. 理解 Spark 的集群搭建, 包括

一时失言乱红尘/ 2022年11月09日 12:33/ 0 赞/ 200 阅读

相关伪分布式问题一（配置历史服务器）

伪分布式问题一（配置历史服务器） 1.引出 2.解决（配置历史服务器） 2.1在当前目录下 2.2配置mapred-site.xml

墨蓝/ 2022年04月06日 04:40/ 0 赞/ 177 阅读

相关 Spark的历史与发展（目录）

对于一个具有相当技术门槛与复杂度的平台，Spark从诞生到正式版本的成熟，经历的时间如此之短，让人感到惊诧。2009年，Spark诞生于伯克利大学AMPLab，最开初属于伯克利

快来打我*/ 2022年03月28日 15:11/ 0 赞/ 403 阅读

相关 hadoop—集群配置历史服务器及访问历史服务器日志

Hadoop历史服务器 > Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce

野性酷女/ 2022年02月20日 04:29/ 0 赞/ 741 阅读

相关 Flink历史服务器

Flink历史服务器 Flink有一个历史记录服务器，可用于在关闭相应的Flink群集后查询已完成作业的统计信息。此外，它公开了一个REST API，

快来打我*/ 2021年11月13日 15:36/ 0 赞/ 429 阅读

相关 Spark历史服务器配置与使用

介绍 spark也有历史服务器，监控已经运行完成的spark application [start-history-server.sh][] （1）将applic

落日映苍穹つ/ 2021年11月09日 03:44/ 0 赞/ 367 阅读