Spark错误汇总

男娘i 2022-06-07 07:59 226阅读 0赞

**Spark错误汇总积累**

1、spark带的scala库比较旧(2.11.8), 系统安装的安装scala比较新(2.12.2)引起的问题.

zhouhh@/Users/zhouhh/test/spark/wordcount $ spark-submit --class WordCount --master local target/scala-2.12/wordcount-spark_2.12-0.0.1.jar
    ...
    Exception in thread "main" java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/java8/JFunction2$mcIII$sp
    	at WordCount$.main(wordcount.scala:15)
    	at WordCount.main(wordcount.scala)
    	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    	at java.lang.reflect.Method.invoke(Method.java:498)
    	at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:743)
    	at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:187)
    	at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:212)
    	at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:126)
    	at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
    Caused by: java.lang.NoClassDefFoundError: scala/runtime/java8/JFunction2$mcIII$sp

（to be done）

发表评论取消回复

表情：

评论列表（有 0 条评论，226人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark面试，Spark面试题，Spark面试汇总

Table of Contents 1、你觉得spark 可以完全替代hadoop 么? 2、Spark消费 Kafka，分布式的情况下，如何保证消息的顺序? 3、对于

素颜马尾好姑娘i/ 2023年08月17日 17:05/ 0 赞/ 117 阅读

相关 Spark SQL 常见问题汇总

1 DataFrame转RDD，map中获取时，下标从0开始例如： solve02DF .rdd .map(x => (

た入场券/ 2023年03月13日 09:27/ 0 赞/ 11 阅读

相关 spark2-submit命令汇总

spark2-submit \\ \--master yarn \\ \--deploy-mode client --class cn.org.nifa.udcp.Ud

布满荆棘的人生/ 2023年02月25日 07:13/ 0 赞/ 9 阅读

相关 HDP错误汇总

前言上一篇《[HDP 2.5安装搭建部署][HDP 2.5]》主要写了一些关于安装的步骤，但不是每次都能顺利的安装成功了，不可避免总是会报很多错误，这里总结一些错误的解

墨蓝/ 2022年07月03日 13:57/ 0 赞/ 564 阅读

相关 Spark错误汇总

Spark错误汇总积累 1、spark带的scala库比较旧(2.11.8), 系统安装的安装scala比较新(2.12.2)引起的问题. zhouhh@

男娘i/ 2022年06月07日 07:59/ 0 赞/ 227 阅读

相关 spark常见错误

一.经验 1.Spark Streaming包含三种计算模式：nonstate .stateful .window 2.kafka可通过配置文件使用自带的zookeepe

雨点打透心脏的1/2处/ 2022年05月16日 07:13/ 0 赞/ 786 阅读

相关错误汇总

DataExchange问题解决方案 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9n

淡淡的烟草味﹌/ 2022年04月12日 08:39/ 0 赞/ 578 阅读

相关 keras 错误汇总

1. 安装tensorflow后pycharm崩溃或者numpy.core.multiarray failed to import solv: 卸载numpy 重装

朱雀/ 2022年02月18日 08:09/ 0 赞/ 266 阅读

相关 Spark常见问题汇总

原文地址：https://my.oschina.net/tearsky/blog/629201 摘要：　　1、Operation category READ is not

不念不忘少年蓝@/ 2021年12月11日 23:29/ 0 赞/ 571 阅读

相关 Spark算子代码汇总

Spark算子代码汇总算子分类 Transformations转换算子延迟执行需要Action算子触发才执行 Action行动算子，触发执行控制算

灰太狼/ 2021年11月26日 20:40/ 0 赞/ 406 阅读