windows idea中用scala操作本地spark，hadoop，及打包成jar 详细步骤

秒速五厘米 2021-09-28 06:54 410阅读 0赞

目标：

在idea中用scala编写简单代码，从本地hdfs中（或本地目录）读取文件，通过spark处理后，结果输出到本地dhfs或本地目录。

然后修改代码，将项目打成jar包，上传到linux中，在spark集群上运行。

环境：hadoop2.7.2 +spark2.2.3 +scala 2.11.8 +idea2018

以上环境的具体安装配置和idea的基本操作分别见：

windows上 IntelliJ IDEA安装scala环境 ： [https://blog.csdn.net/csdn\_dengfan/article/details/88363224][https_blog.csdn.net_csdn_dengfan_article_details_88363224]

windows 安装 配置 hadoop2.7.2 spark2.2.3 ：[https://blog.csdn.net/csdn\_dengfan/article/details/88375313][https_blog.csdn.net_csdn_dengfan_article_details_88375313]

# 1.编写代码 #

目录结构：

![20190310113819417.jpg][]

Ts的代码：

val conf = new SparkConf().setAppName("Ts").setMaster("local[1]")
    //创建spark执行的入口
    val sc = new SparkContext(conf)
    
    //指定以后从哪里读取数据创建RDD
    //val lines: RDD[String] = sc.textFile("D:/test.txt") 从本地目录读取文件
    //我们从本地hdfs读取文件
    val lines: RDD[String] = sc.textFile("hdfs://localhost:9000/user/spark")
    val lines: RDD[String] = sc.textFile(args(0))
    val words: RDD[String]=lines.flatMap(_.split(" "))
    val word: RDD[(String,Int)]=words.map((_,1))
    
    //word.saveAsTextFile("C:/sparkdata/out") 将结果保存到本地目录
    //将结果保存到本地hdfs
    word.saveAsTextFile("hdfs://localhost:9000/user/output")
    //释放资源
    sc.stop()

# 2.运行hadoop集群 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fZGVuZ2Zhbg_size_16_color_FFFFFF_t_70][]

上传文件，windows上查看结果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fZGVuZ2Zhbg_size_16_color_FFFFFF_t_70 1][]

具体如何上传文件，参考 [https://blog.csdn.net/csdn\_dengfan/article/details/88375313][https_blog.csdn.net_csdn_dengfan_article_details_88375313]

# 3.执行程序，查看结果 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fZGVuZ2Zhbg_size_16_color_FFFFFF_t_70 2][]

成功。

# 4.将项目打包成jar，上传到linux中执行。 #

1.修改项目代码：将本地hdfs路径去掉

//spark主机改为linux上的主机
    val conf = new SparkConf().setAppName("Ts").setMaster("spark://node2:7077")
    val sc = new SparkContext(conf)
    //指定以后从哪里读取数据创建RDD，从args(0)指定位置读取数据
    val lines: RDD[String] = sc.textFile(args(0))
    val words: RDD[String]=lines.flatMap(_.split(" "))
    val word: RDD[(String,Int)]=words.map((_,1))
    //将结果保存到args(1)参数指定位置
    word.saveAsTextFile(args(1))
    //释放资源
    sc.stop()

2.打包

Idea界面，点击 File->Project Structre,得到下图界面

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fZGVuZ2Zhbg_size_16_color_FFFFFF_t_70 3][]

上图一次点击完后：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fZGVuZ2Zhbg_size_16_color_FFFFFF_t_70 4][]

点击ok

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fZGVuZ2Zhbg_size_16_color_FFFFFF_t_70 5][]

点击ok，然后退到主界面。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fZGVuZ2Zhbg_size_16_color_FFFFFF_t_70 6][]

点击上图标记的选项。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fZGVuZ2Zhbg_size_16_color_FFFFFF_t_70 7][]

点击上图build选项开始打包。

去D:\\IdeaProjects\\Li\\out\\artifacts\\Li\_jar/下找我们的项目jar包。

或者在idea界面也可以看到左边项目中生成了一个红色的out文件夹

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fZGVuZ2Zhbg_size_16_color_FFFFFF_t_70 8][]

在上图的箭头指向的目录中也能找到我们的jar包，我们的项目是Li，所以生成的jar包为Li.jar

![20190310123947274.jpg][]

得到要执行的类的全类名： 在类的类名上右键 点击 copy Reference选项 得到全类名，我这里得到的全类名是

com.df.test.Ts

然后将Li.jar拷贝到linux中你自己的文件夹下 我这里拷贝到 /opt/sofrware/下

3.运行jar包

开启hdfs集群 ： sbin/start-dfs.sh  这里的sbin文件夹是hadoop的sbin文件夹

开启spark集群  : sbin/start-all.sh 这里的sbin文件夹是spark的sbin文件夹

jps查看启动情况：

![20190310125305667.jpg][]

在spark集群上运行我们的Li.jar

![20190310130047337.jpg][]

在浏览器上查看结果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fZGVuZ2Zhbg_size_16_color_FFFFFF_t_70 9][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fZGVuZ2Zhbg_size_16_color_FFFFFF_t_70 10][]

成功。

[https_blog.csdn.net_csdn_dengfan_article_details_88363224]: https://blog.csdn.net/csdn_dengfan/article/details/88363224
[https_blog.csdn.net_csdn_dengfan_article_details_88375313]: https://blog.csdn.net/csdn_dengfan/article/details/88375313
[20190310113819417.jpg]: /images/20210923/ea8963df54914abfb8ad4170e6a9196b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fZGVuZ2Zhbg_size_16_color_FFFFFF_t_70]: /images/20210923/35a0e36793e948369f975c57983e84f6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fZGVuZ2Zhbg_size_16_color_FFFFFF_t_70 1]: /images/20210923/a4fc4e2bcef944b38521cebae42b7dc1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fZGVuZ2Zhbg_size_16_color_FFFFFF_t_70 2]: /images/20210923/c52e1303b42c49e68abc5033cc21e08f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fZGVuZ2Zhbg_size_16_color_FFFFFF_t_70 3]: /images/20210923/46465cb3b98249d68fed548c83d742f1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fZGVuZ2Zhbg_size_16_color_FFFFFF_t_70 4]: /images/20210923/a2397ba03c3844bcbfd08075446dc451.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fZGVuZ2Zhbg_size_16_color_FFFFFF_t_70 5]: /images/20210923/d8256dee0cf94515b9eeae202da7511f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fZGVuZ2Zhbg_size_16_color_FFFFFF_t_70 6]: /images/20210923/1f13b03b7bb44a7dbf2cce94b3bb00df.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fZGVuZ2Zhbg_size_16_color_FFFFFF_t_70 7]: /images/20210923/f69c9b1d89154454aafbab461f85ca4b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fZGVuZ2Zhbg_size_16_color_FFFFFF_t_70 8]: /images/20210923/b424a184f1eb42f5860796fafc4fa692.png
[20190310123947274.jpg]: /images/20210923/65bd074ed0fa4b448080b66acd182eb6.png
[20190310125305667.jpg]: /images/20210923/99817882f294499c9e45de48049f2c56.png
[20190310130047337.jpg]: /images/20210923/37102422020445b7af9902e99568f9fd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fZGVuZ2Zhbg_size_16_color_FFFFFF_t_70 9]: /images/20210923/6ec6d7c7c76f412d8752620b6fe9b24f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fZGVuZ2Zhbg_size_16_color_FFFFFF_t_70 10]: /images/20210923/c0aa9bf982154d2eb66f2eb54b3adeef.png