Spark History Server配置、启动、spark运行环境优化

清疚 2022-05-17 02:22 428阅读 0赞

Spark History Server配置

（1）spark history server查看运行完成的作业信息和日志

（2）配置Hadoop的yarn-site.xml文件，所有节点配置文件同步，重启yarn

<property>

<name>yarn.log.server.url</name>

<value>http://node02:19888/jobhistory/logs</value>

<description>Yarn JobHistoryServer访问地址</description>

</property>

（3）修改spark安装包conf目录下的spark-defaults.conf（如果没有该文件，通过spark-defaults.conf.template模板复制一个），spark history server在192.168.137.100节点启动，spark\_logs这个目录需要在HDFS上提前创建

spark.yarn.historyServer.address=192.168.137.100:18080

spark.history.ui.port=18080

spark.eventLog.enabled=true

spark.eventLog.dir=hdfs://spark\_logs

spark.history.fs.logDirectory=hdfs:///spark\_logs

Spark History Server启动

（1）启动Spark History Server

sbin/start-history-server.sh

（2）Spark History Server访问地址

http://192.168.137.100:18080

（3）Spark History Server使用

Spark运行环境优化

将spark系统jar包上传到HDFS上，直接使用HDFS上的文件

（1）在spark安装目录下运行：jar cv0f spark-libs.jar -C jars/ .

（2）将spark安装目录下生成的spark-libs.jar上传到HDFS上的/system/spark（需要手动创建）目录下

hadoop fs -put spark-libs.jar /system/spark

（3）修改spark安装包conf目录下spark-defaults.conf配置文件添加spark-libs.jar在HDFS上的路径

spark.yarn.archive=hdfs:///system/spark/spark-libs.jar

发表评论取消回复

表情：

评论列表（有 0 条评论，428人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark (四) --------- Spark 运行架构

目录一、运行架构二、核心组件 1. Driver 2. Executor 3. Master & Worker

梦里梦外;/ 2024年04月07日 11:37/ 0 赞/ 105 阅读

相关 Spark (三) --------- Spark 运行环境

目录一、Local 模式 1. 解压缩文件 2. 启动 Local 环境 3. 命令行工具 4. 退出本地模

水深无声/ 2024年04月07日 10:29/ 0 赞/ 87 阅读

相关【网址收藏】Spark History Server配置及使用

[https://blog.csdn.net/xiligey1/article/details/82457302][https_blog.csdn.net_xiligey1_a

客官°小女子只卖身不卖艺/ 2023年10月05日 17:58/ 0 赞/ 28 阅读

相关 spark的日志监控(WEB UI 和history server)

背景当我们在跑一个spark任务的时候，如果碰到数据倾斜或者我们想去看下运行参数或者具体的运行情况，这时候我们就需要一个可视化的日志页面，去监控spark的运行。

以你之姓@/ 2023年05月28日 09:57/ 0 赞/ 76 阅读

相关 Spark-运行环境以及部署

运行环境 Spark 作为一个数据处理框架和计算引擎,被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为 Yarn,不过逐渐容器式环境也慢慢流行起来。接下来,我

水深无声/ 2022年09月02日 04:20/ 0 赞/ 182 阅读

相关配置&使用Spark History Server

Spark history Server产生背景以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程

忘是亡心i/ 2022年08月07日 05:36/ 0 赞/ 152 阅读

相关 Spark History Server 没有生效

Spark 提供了 Web UI 来对 Spark 应用进行监控。每个 SparkContext 会启动一个 web UI，默认是在 4040 端口。它显示了应用相关的有用

系统管理员/ 2022年06月12日 08:18/ 0 赞/ 233 阅读

相关 spark笔记spark优化

基本概念(Basic Concepts) RDD - resillient distributed dataset 弹性分布式数据集 Operation - 作用于RD

桃扇骨/ 2022年06月03日 09:43/ 0 赞/ 267 阅读

相关 Spark History Server配置、启动、spark运行环境优化

Spark History Server配置（1）spark history server查看运行完成的作业信息和日志（2）配置Hadoop的yarn-site.xml

清疚/ 2022年05月17日 02:22/ 0 赞/ 429 阅读

相关 Spark History Server 架构原理介绍

文章目录一、eventLog日志文件以及相关参数 eventLog日志文件介绍相关配置参数二、两

不念不忘少年蓝@/ 2022年03月11日 18:12/ 0 赞/ 457 阅读