Spark MLlib 入门学习笔记 - 编程环境配置

亦凉 2022-06-02 06:55 289阅读 0赞

配置windows下Spark MLlib的编程环境，实现在windows下用scala开发程序，用小数据集测试验证程序的正确性。少做修改，或者不做修改，然后打包成jar文件，用spark-submit提交到spark集群进行测试。假设已 安装好jdk、scala、IntelliJ IDEA和scala插件。

**1. 安装hadoop、spark和hadoop2.6\_Win\_x64-master**

下载 hadoop-2.6.0.tar.gz和spark-1.6.0-bin-hadoop2.6，从github下载hadoop2.6\_Win\_x64-master.zip(https://github.com/sdravida/hadoop2.6\_Win\_x64)。创建目录e:\\spark，1)将三个文件解压缩到e:\\spark目录下，2)将E:\\spark\\hadoop2.6\_Win\_x64-master\\bin的文件拷贝到E:\\spark\\hadoop260\\bin下面，3）将spark-assembly-1.6.0-hadoop2.6.0.jar文件拷贝到C:\\Program Files (x86)\\JetBrains\\IntelliJ IDEA 2016.2.5\\lib目录下。

2. 配置spark编译环境

启动idea创建scala工程

![b10829616b2b23cd88dae6675a7ab8fc.png_wxfrom_5_wx_lazy_1][]

![c5687c17de06bd74515d04f045781bec.png][]

**2. 添加spark-assembly-1.6.0-hadoop2.6.0.jar依赖包**

点击File主菜单的Project Structure子菜单，弹出配置界面后选择Libraries，再点"+"号弹出Select Library Files界面，完成选择后，点OK就可以了。

![5e47c00ace8bf8aa1b0377a1860708cd.png][]

在SparkDiscover目录下创建data目录，并在这个目录下建一个wordcount.txt文件，用作测试。在src目录下创建两级子目录main/scala作为源代码存放目录，然后创建一个名称为basic的package目录和WordCount源文件。

![edab79e5bcfd6c9646a145e875658aba.png][]

**\[plain\]** view plain copy

1.  package basic  
2.    
3.  /\*\*  
4.    \* Created by Oliver on 2017/5/13.  
5.    \*/  
6.  import org.apache.spark.\{SparkConf, SparkContext\}  
7.    
8.  // "local"  
9.  // "E:/MyProject/SparkDiscover/data/wordcount.txt"  
10.   
11. object WordCount \{  
12.   def main(args: Array\[String\])\{  
13.     val conf = new SparkConf().setMaster(args(0)).setAppName("WordCount")  
14.     val sc = new SparkContext(conf)  
15.     val data = sc.textFile(args(1))  
16.     data.flatMap(\_.split(" ")).map((\_,1)).reduceByKey(\_+\_).collect().foreach(println)  
17.   
18.   \}  
19. \}

程序中用了两个参数，参数1：提交到本地还是集群，参数2：文件名（本地或者是hdfs），在本地windows 下的运行配置。程序很简单，创建定义、创建上下文、读数据文件、调用flatMap进行处理（空格分割、map计数、reduce将计数相加，最后逐行打印输出）。

![f78ce97f1ed52ae8e3d6389ec629e9c3.png][]

运行结果

![d281296b08a6cfe99d594bd051a212d8.png][]

打包输出，选择菜单File/Project Structure弹出界面后选择Artificts,点击"+" 如下图进行选择，再依次点apply和ok。

![0dbc413f229a16db61fd645058560744.png][]

点完以后发现，它把所有的包多添加进去了，时间上不需要这么多。把不需要的包删除，结果如下图所示。

![9d1a20ddd538e965095159f076ad85ec.png][]

build jar包

![74a057104a1a44b89b9888dd277e211b.png][]

**3. 在spark集群下运行**

从out/artifacts/SparkDiscover\_jar目录下拷贝SparkDiscover.jar文件到spark集群上，运行一下脚本进行测试。

**\[plain\]** view plain copy

1.  spark-submit --master spark://d-hdp-01:7077 \\  
2.  \--class basic.WordCount \\  
3.  \--executor-memory 1g \\  
4.  /home/hadoop/\_testing/SparkDiscover.jar \\  
5.  spark://d-hdp-01:7077 \\  
6.  hdfs://d-hdp-01:9000/user/hadoop.txt  > result.log

打印输出被重定向到result.log文件中。运行结果如下。

![8625a5faa07dd9437dab8195667696a4.png][]

从界面上可以看到提交的任务，提交两次，界面上也显示了两次。

![8a028f9d111b0c4053b961f700a57335.png][]

![6e8b6c624b6448a4ebd266c6d81987d1.png][]

[b10829616b2b23cd88dae6675a7ab8fc.png_wxfrom_5_wx_lazy_1]: https://img-blog.csdnimg.cn/img_convert/b10829616b2b23cd88dae6675a7ab8fc.png;wxfrom=5&wx_lazy=1
[c5687c17de06bd74515d04f045781bec.png]: /images/20220602/6c2d4b9594f14dc39fc5b977e7de3593.png
[5e47c00ace8bf8aa1b0377a1860708cd.png]: /images/20220602/00ae4932885948528935bd4f95f56aa7.png
[edab79e5bcfd6c9646a145e875658aba.png]: /images/20220602/2f0a3c10b14e4e5f9b383603abba864a.png
[f78ce97f1ed52ae8e3d6389ec629e9c3.png]: /images/20220602/ab5e056fd1cb422b9067b84038238a64.png
[d281296b08a6cfe99d594bd051a212d8.png]: /images/20220602/9468af7b863c40a8925d530c4864847d.png
[0dbc413f229a16db61fd645058560744.png]: /images/20220602/c0fde96ad01741e9a0cab5d54056ff2a.png
[9d1a20ddd538e965095159f076ad85ec.png]: /images/20220602/2a59b65e362e40f89c87720b31accab8.png
[74a057104a1a44b89b9888dd277e211b.png]: /images/20220602/7894917f04d74f96ad9a9ea426f78bd1.png
[8625a5faa07dd9437dab8195667696a4.png]: /images/20220602/fca91280e6ff4c1c83477e88b7e58c14.png
[8a028f9d111b0c4053b961f700a57335.png]: /images/20220602/64f4b242a6904060ac22bb14dc629f80.png
[6e8b6c624b6448a4ebd266c6d81987d1.png]: /images/20220602/69b6c9c8816f43dd99ca3e27e79812fa.png