spark新手入门安装+小练习

待我称王封你为后i 2022-05-26 22:26 121阅读 0赞

解压安装包到指定位置

# tar -zxvf spark-1.5.2-bin-hadoop2.6.tgz -C /usr/local #

进入到Spark安装目录

cd /usr/local/spark-1.5.2-bin-hadoop2.6

进入conf目录并重命名并修改spark-env.sh.template文件

cd conf/

mv spark-env.sh.template spark-env.sh

vi spark-env.sh

在该配置文件中添加如下配置

export JAVA\_HOME=/usr/java/jdk1.7.0\_45

export SPARK\_MASTER\_IP=master

export SPARK\_MASTER\_PORT=7077

保存退出

重命名并修改slaves.template文件

mv slaves.template slaves

vi slaves

在该文件中添加子节点所在的位置（Worker节点）

node1

node2

保存退出

将配置好的Spark拷贝到其他节点上

scp -r spark-1.5.2-bin-hadoop2.6/ node2.bw.cn:/usr/local/

scp -r spark-1.5.2-bin-hadoop2.6/ node3.bw.cn:/usr/local/

Spark集群配置完毕，目前是1个Master，2个Work，在node1.bw.cn上启动Spark集群

在sbin下启动命令: ./start-all.sh --master spark://kaoshi1:7077 --total-executor 1

启动后执行jps命令，主节点上有Master进程，其他子节点上有Work进行，登录Spark管理界面查看集群状态（主节点）：[http://node1.bw.cn的IP:8080/][http_node1.bw.cn_IP_8080]

![70][]

启动spark shell

/usr/local/spark/bin/spark-shell \
    --master spark://kaoshi1:7077 \
    --executor-memory 512m \
    --total-executor-cores 1

![70 1][]

参数说明：

\--master spark://kaoshi1:7077 指定Master的地址

\--executor-memory 2g 指定每个worker可用内存为2G

\--total-executor-cores 2 指定整个集群使用的cup核数为2个

注意：

如果启动spark shell时没有指定master地址，但是也可以正常启动spark shell和执行spark shell中的程序，其实是启动了spark的local模式，该模式仅在本机启动一个进程，没有与集群建立联系。

Spark Shell中已经默认将SparkContext类初始化为对象sc。用户代码如果需要用到，则直接应用sc即可

小练习

**在sparck shell 中编写wordcount程序**

1.首先启动hdfs

2.向hdfs上传一个文件到hdfs://node1.bw.cn:9000/words.txt

3.在spark shell中用scala语言编写spark程序  把统计的结果再次放到hdfs中

sc.textFile("hdfs://node1.bw.cn:9000/words.txt").flatMap(\_.split(" ")).map((\_,1)).reduceByKey(\_+\_).saveAsTextFile("hdfs://node1.bw.cn:9000/out")

下面这种是把结果输出到控制台

![70 2][]

4.使用hdfs命令查看结果

hdfs dfs -ls hdfs://node1.bw.cn:9000/out/p\*

![70 3][]

说明：

sc是SparkContext对象，该对象时提交spark程序的入口

textFile(hdfs://node1.bw.cn:9000/words.txt)是hdfs中读取数据

flatMap(\_.split(" "))先map在压平

map((\_,1))将单词和1构成元组

reduceByKey(\_+\_)按照key进行reduce，并将value累加

saveAsTextFile("hdfs://node1.bw.cn:9000/out") 将结果写入到hdfs中

[http_node1.bw.cn_IP_8080]: http://node1.itcast.cn:8080/
[70]: /images/20220527/4d46e9357b334a8abf821300daeacb69.png
[70 1]: /images/20220527/1af5ef26d3df4065a8f1f5dbf0464e20.png
[70 2]: /images/20220527/f6ff9779407445ecb488737d4dfa6051.png
[70 3]: /images/20220527/6b292cfb4c054ba7902b7cfeaf6f3ae9.png