Windows下IDEA运行scala版本的spark程序（踩坑总结）

╰半橙微兮° 2021-12-24 07:37 610阅读 0赞

首先，说一下，一般spark程序肯定都是打包然后放到Linux服务器去运行的，但是我们为什么还需要在Windows下运行spark程序。当然有它的道理：  
因为我们很多人都是习惯在Windows系统下编写代码的，所以，如果能在Windows下运行spark程序的话，就非常方便我们进行本地测试，保证我们的代码没有问题，就不需要先打包到服务器运行，有问题又得返回Windows修改，然后再打包放服务器。

# hadoop和spark安装配置 #

其实Windows下的hadoop和spark安装非常简单，其实就是下载包，然后解压就可以用了。直接到[Hadoop官网][Hadoop]和[Spark官网][Spark]。我下载的是这两个，记得hadoop和spark的版本要对应。  
![在这里插入图片描述][2019062720281399.png]![在这里插入图片描述][2019062720282498.png]  
接着，把你的hadoop目录加到环境变量；  
最后，还需要(https://github.com/steveloughran/winutils)在这里下载你对应版本的winutils，然后加到你的hadoop的spark的bin目录下，这样你才能在Windows下运行spark程序  
![在这里插入图片描述][20190627203005915.png]

# IDEA和scala的安装配置 #

关于IDEA和Scala的安装配置，可以到我的另一篇博客[IntelliJ IDEA：Scala、sbt、maven配置教程][IntelliJ IDEA_Scala_sbt_maven]，里面有详细的教程。

# WordCount程序 #

`WordCount`词频统计，可以说是大数据的`HelloWorld`了，而我，在这一步就踩了很多的坑哭唧唧。下面附上代码。

import org.apache.spark.SparkContext
    import org.apache.spark.SparkConf
    
    
    object wordCount { 
        def main(args: Array[String]) { 
            // Web界面任务的名称
            val conf = new SparkConf().setAppName("WordCount").setMaster("local[3]")
            val sc = new SparkContext(conf)
    
            val textFile = sc.textFile("C:/Users/hong/Desktop/sbtconfig.txt")
            val words = textFile.flatMap(line => line.split(" ")).map(word => (word, 1))
            val wordCount = words.reduceByKey((a, b) => a + b)
            wordCount.foreach(println)
        }
    }

# 无法新建scala类 #

创建了一个Scala的sbt项目，但是在点击`右键——new——`的时候，没有`Scala Class`这个选项，怎么办？  
选择你的项目，然后点击`右键——Project Structure——Libraries`，接着点击+，选择`Scala SDK`，最后选择你的scala版本就可以了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70]

# 运行报错NoSuchMethodError #

当你满怀期待得开始运行你的spark程序时，结果抛出异常`java.lang.NoSuchMethodError`，这个情况一般是scala与spark冲突造成的。在你下载spark的时候，要注意查看兼容什么版本的scala，然后下载使用对应的scala版本。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 1]  
或者，你启动spark-shell的时候，也会有scala适配版本的信息。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 2]

# 无法加载主类 #

当你换完scala的版本之后，再次运行程序的时候，应该还会抛出`无法加载或找不到主类`的错误，这个时候你需要对项目重新进行编译，我的做法是，找到编译之后的class文件，将其删除，然后重新运行Run，这个时候会自动重新编译。  
或者可以将你项目中这个文件夹`.idea`删除，然后重启IDEA。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 3]

# 运行报错NoClassDefFoundError #

当我又再次运行程序时，又再次抛出错误`java.lang.NoClassDefFoundError`，真的心累。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 4]  
出现这个错误的原因一般是你spark依赖包使用的scala版本与你项目使用的scala版本不一致。比如我的是sbt项目，需要修改`build.sbt`文件，让其版本对应。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 5]

# 无法导入scala自带的包 #

比如，像`scala.util.parsing.json.JSON`这样解析JSON的类，明明是scala自带的，但是在import的时候却一直报错。  
解决方法如下：选择菜单`FIle-->Project Structure-->Global Libraries`，然后选择你的scala-sdk，点击右键，最后选择`Add to Modules....`。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 6]  
欢迎关注同名公众号：“我就算饿死也不做程序员”。  
交个朋友，一起交流，一起学习，一起进步。![在这里插入图片描述][20200430113543762.jpg]

[Hadoop]: https://hadoop.apache.org/releases.html
[Spark]: http://spark.apache.org/downloads.html
[2019062720281399.png]: https://img-blog.csdnimg.cn/2019062720281399.png
[2019062720282498.png]: /images/20211223/b6daa23c3008429f94d378ce593d9bce.png
[20190627203005915.png]: /images/20211223/4a2b689cf199439a920454ee16741b9d.png
[IntelliJ IDEA_Scala_sbt_maven]: https://blog.csdn.net/sgyuanshi/article/details/93314355
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70]: /images/20211223/d99d58b450a1470299a890644ce97ce7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 1]: /images/20211223/6953cef4aae74fd0a7c0fac421bc7631.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 2]: /images/20211223/f593adfb819f453d8d223d33df2123ca.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 3]: /images/20211223/ddd62f3690634adca9725718931ce061.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 4]: /images/20211223/b29a36556948441cb28f4ffe3d8e43f3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 5]: /images/20211223/6a773a3ecce14850a89b2a11c257df75.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NneXVhbnNoaQ_size_16_color_FFFFFF_t_70 6]: /images/20211223/b06cde0bec2748de8d0b9b1e3f84136d.png
[20200430113543762.jpg]: /images/20211223/afd1f67518da4954ae04d153889dddb5.png