Flink历史服务器

快来打我* 2021-11-13 15:36 428阅读 0赞

**Flink历史服务器**

Flink有一个历史记录服务器，可用于在关闭相应的Flink群集后查询已完成作业的统计信息。

此外，它公开了一个REST API，它接受HTTP请求并使用JSON数据进行响应。

**概述**

HistoryServer允许查询已由JobManager归档的已完成作业的状态和统计信息。

配置HistoryServer *和* JobManager后，可以通过相应的启动脚本启动和停止HistoryServer：

*  
 *

# Start or stop the HistoryServerbin/historyserver.sh (start|start-foreground|stop)

配置键jobmanager.archive.fs.dir,historyserver.archive.fs.refresh-interval需要进行调整以存档和显示存档的作业。

**JobManager**

已完成作业的归档发生在JobManager上，JobManager将归档的作业信息上载到文件系统目录。可以flink-conf.yaml通过设置目录来配置目录以存档已完成的作业jobmanager.archive.fs.dir。

*  
 *

# Directory to upload completed job informationjobmanager.archive.fs.dir: hdfs:///completed-jobs

**HistoryServer**

可以将HistoryServer配置为监视via中以逗号分隔的目录列表historyserver.archive.fs.dir。为新存档定期轮询已配置的目录; 轮询间隔可以通过配置historyserver.archive.fs.refresh-interval。

*  
 *  
 *  
 *  
 *

# Monitor the following directories for completed jobshistoryserver.archive.fs.dir: hdfs:///completed-jobs # Refresh every 10 secondshistoryserver.archive.fs.refresh-interval: 10000

包含的存档将下载并缓存在本地文件系统中。通过此配置本地目录historyserver.web.tmpdir。

![640?wx\_fmt=png][640_wx_fmt_png]

[640_wx_fmt_png]: /images/20211113/e3317a2803a34b048ccd11ae879ef018.png

发表评论取消回复

表情：

评论列表（有 0 条评论，428人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flink 1.17教程：历史服务器History Server

K8S 运行模式容器化部署是如今业界流行的一项技术，基于Docker镜像运行能够让用户更加方便地对应用进行管理和运维。容器管理工具中最为流行的就是Kubernetes（

淩亂°似流年/ 2023年10月15日 14:38/ 0 赞/ 58 阅读

相关大数据Flink（五十三）：Flink流处理特性、发展历史以及Flink的优势

![250d0ad194e1427e8332b56b33849107.jpeg][] 文章目录 Flink流处理特性、发展历史以及Flink的优势一、Flink流处理特

亦凉/ 2023年10月14日 09:19/ 0 赞/ 22 阅读

相关配置 spark 历史服务器

在 `Spark-shell` 没有退出之前, 我们是可以看到正在执行的任务的日志情况，一旦任务执行结束，`web-ui` 就不能看到历史任务，需要额外配置历史服务器 1.

系统管理员/ 2023年09月29日 18:47/ 0 赞/ 10 阅读

相关 Hadoop伪分布式 => 配置历史服务器

配置： cd /opt/module/hadoop-2.9.2 sudo vim etc/hadoop/mapred-site.xml 在<configuration><

谁践踏了优雅/ 2023年07月22日 14:24/ 0 赞/ 12 阅读

相关 Flink实战（九）Flink 开启历史服务器

今天突然发现所有作业的历史执行记录都没有了。所以找了一下flink的历史服务器怎么配置的。 1. `flink-conf.yaml`配置task的存档目录

冷不防/ 2023年07月12日 14:12/ 0 赞/ 63 阅读

相关伪分布式问题一（配置历史服务器）

伪分布式问题一（配置历史服务器） 1.引出 2.解决（配置历史服务器） 2.1在当前目录下 2.2配置mapred-site.xml

墨蓝/ 2022年04月06日 04:40/ 0 赞/ 177 阅读

相关 hadoop—集群配置历史服务器及访问历史服务器日志

Hadoop历史服务器 > Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce

野性酷女/ 2022年02月20日 04:29/ 0 赞/ 741 阅读

相关 Flink历史服务器

Flink历史服务器 Flink有一个历史记录服务器，可用于在关闭相应的Flink群集后查询已完成作业的统计信息。此外，它公开了一个REST API，

快来打我*/ 2021年11月13日 15:36/ 0 赞/ 429 阅读

相关 Spark历史服务器配置与使用

介绍 spark也有历史服务器，监控已经运行完成的spark application [start-history-server.sh][] （1）将applic

落日映苍穹つ/ 2021年11月09日 03:44/ 0 赞/ 366 阅读

相关导入excle到服务器时候删除服务器历史数据

//删除历史数据EXCLE 当天前一天的数据都删除 var folder = Path.GetDirectoryName(abs

朱雀/ 2021年10月24日 02:18/ 0 赞/ 299 阅读