Flink Yarn 模式启动错误问题集锦

r囧r小猫 2022-03-18 07:39 581阅读 0赞

**1、Yarn 模式启动找不到类的问题**

Caused by: java.lang.ClassNotFoundException: javax.ws.rs.ext.MessageBodyReader
    	at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
    	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    	... 49 more

网上查阅资料说是:  解决办法是把flink-shade-hadoop2 pom文件里hadoop-yarn-common 这个依赖对于jersey-core的exclusion取消

![20190220091346937.png][]

然后重新mvn 编译。 也可以直接把对应的jar  复制到flink 部署的lib 目录下.

![2019022009280573.png][]

**2、建立了flink用户，在flink用户下启动Flink 报权限问题**

Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): 
    Permission denied: user=flink, access=WRITE, 
    inode="/user/flink/.flink/application_1550483325104_0004/log4j.properties":hdfs:hdfs:drwxr-
    xr-x

切换到hdfs 用户下执行.  或者执行如下命令：

hdfs dfs -mkdir   /user/flink
    
    hdfs dfs -chown flink:hdfs   /user/flink

然后在flink 用户下以yarn 模式启动flink 集群.

./bin/yarn-session.sh -n 3  -jm 2048  -tm 8192 -s 8

[20190220091346937.png]: /images/20220318/e8bc286de2bb4d1e96d22c69c1cf0d6b.png
[2019022009280573.png]: /images/20220318/da5e7ca39fb548dda7f89bb2d8968b9a.png

发表评论取消回复

表情：

评论列表（有 0 条评论，581人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flink：yarn模式部署

yarn模式部署，理解是只是将Flink集群交给yarn管理，因此Flink集群部署还是使用StandAlone模式部署，然后交给yarn管理即可 Flink：StandAl

阳光穿透心脏的1/2处/ 2024年03月24日 17:54/ 0 赞/ 91 阅读

相关 Flink实战（十）Flink on Yarn模式

文章目录概述模式1 Yarn Per Job 实践模式2 Yarn On Sess

「爱情、让人受尽委屈。」/ 2023年07月21日 06:14/ 0 赞/ 83 阅读

相关 Hadoop启动问题集锦

图解SSH原理 https://www.jianshu.com/p/33461b619d53 Java API操作Hadoop可能会遇到的问题以及解决办法

﹏ヽ暗。殇╰゛Y/ 2023年03月01日 09:28/ 0 赞/ 10 阅读

相关 Flink基于yarn调度提交的模式

1，直接启动相关shell命令如下： !bin/bash /streaming/software/flink-1.9.0/bin/flink run -m y

叁歲伎倆/ 2022年12月05日 13:57/ 0 赞/ 166 阅读

相关 Flink-yarn-session集群提交模式

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5ZyoSVTkuK3nqb_moq3ml4Xo

小咪咪/ 2022年09月08日 00:13/ 0 赞/ 240 阅读

相关【flink】Flink 1.12.2 源码浅析 : yarn-per-job模式解析 TaskMasger 启动

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

川长思鸟来/ 2022年09月03日 10:27/ 0 赞/ 193 阅读

相关 Flink on yarn 常见错误

1 Retrying connect to server 2 Unable to get ClusterClient status from Application

向右看齐/ 2022年05月24日 03:26/ 0 赞/ 1008 阅读

相关 Flink Yarn 模式高可用性配置

Flink 版本1.7.2 -------------------- 目录 YARN群集高可用性配置： -------------------- 在运行高可用性

绝地灬酷狼/ 2022年03月18日 10:22/ 0 赞/ 355 阅读

相关 Flink Yarn 模式启动错误问题集锦

1、Yarn 模式启动找不到类的问题 Caused by: java.lang.ClassNotFoundException: javax.ws.rs.ext.Mes

r囧r小猫/ 2022年03月18日 07:39/ 0 赞/ 582 阅读

相关 Flink On Yarn 架构/Job启动流程/部署模式

![ee7ddfda607ff7aa708b9b51bdd43167.png][] [https://www.cnblogs.com/163yun/p/9882411.h

港控/mmm°/ 2021年09月25日 03:04/ 0 赞/ 415 阅读