FAILED: SemanticException Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveExce

- 日理万妓 2022-10-30 01:20 879阅读 0赞

FAILED: SemanticException Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Spark client due to invalid resource request: Required executor memory (2048), overhead (384 MB), and PySpark memory (0 MB) is above the max threshold (2048 MB)

解决方案  
在hadoop中/etc/hadoop/yarn-site.xml添加

<property>
            <name>yarn.scheduler.minimum-allocation-mb</name>
            <value>512</value>
        </property>
        <property>
            <name>yarn.scheduler.maximum-allocation-mb</name>
            <value>4096</value>
        </property>
        
        
        <property>
            <name>yarn.nodemanager.resource.memory-mb</name>
            <value>4096</value>
        </property>
        
        
        <property>
            <name>yarn.nodemanager.pmem-check-enabled</name>
            <value>false</value>
        </property>
        <property>
            <name>yarn.nodemanager.vmem-check-enabled</name>
            <value>false</value>
        </property>

发表评论取消回复

表情：

评论列表（有 0 条评论，879人围观）

还没有评论，来说两句吧...

相关阅读

相关错误解决：Failed to create Spark client for Spark session

错误解决：Failed to create Spark client for Spark session ![在这里插入图片描述][3cfaae46f9d74a89866

秒速五厘米/ 2024年03月22日 20:15/ 0 赞/ 44 阅读

相关 Installation failed with message Failed to finalize session : INSTALL_FAILED_INVALID_APK: /data/app/

一直正常运行的项目这次运行时出现了： ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9n

今天药忘吃喽~/ 2023年07月11日 05:34/ 0 赞/ 20 阅读

相关 (Spark 异常) Failed to get broadcast_0_piece0 of broadcast_0

问题之前开发的时候遇到. `Failed to get broadcast_0_piece0 of broadcast_0`异常. 20/07/03 15:5

男娘i/ 2023年02月23日 03:42/ 0 赞/ 9 阅读

相关 spark：Failed to create local dir

近日莫名遭遇异常一枚，如下： org.apache.spark.SparkException: Job aborted due to stage failure

淩亂°似流年/ 2022年12月12日 12:24/ 0 赞/ 190 阅读

相关 FAILED: SemanticException Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveExce

FAILED: SemanticException Failed to get a spark session: org.apache.hadoop.hive.ql.m

- 日理万妓/ 2022年10月30日 01:20/ 0 赞/ 880 阅读

相关 failed to connect session timed out

问题： failed to connect session timed out. ensure that 1. you compiled your flash app

Bertha 。/ 2022年08月07日 01:59/ 0 赞/ 27 阅读

相关 Installation failed with message Failed to establish session.

问题描述 [Android][] Studio升级到3版本之后，小米手机MIUI9不能运行Android Studio程序，报如下错误： \[html

ゞ浴缸里的玫瑰/ 2022年06月01日 07:45/ 0 赞/ 291 阅读

相关 Installation failed with message Failed to finalize session : INSTALL_FAILED_INVALID_APK

Installation failed with message Failed to finalize session : INSTALL_FAILED_INVALID

- 日理万妓/ 2022年05月26日 01:56/ 0 赞/ 293 阅读

相关 Android studio 报错 installation failed with message failed to finalize session:INSTALL_FAILED_INVALID

解决方案： File->Setting->Build->Instant Run ![831181-20170828155321249-2093900699.png][]

太过爱你忘了你带给我的痛/ 2022年01月15日 04:11/ 0 赞/ 369 阅读

相关 Installation failed with message Failed to finalize session……

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5f

àì夳堔傛蜴生んèń/ 2021年09月18日 19:22/ 0 赞/ 290 阅读