Spark代码总结(1)

「爱情、让人受尽委屈。」 2022-08-02 07:02 271阅读 0赞

### Sparkconf ###

Spark配置项类，SparkContext类接收配置项内容，控制驱动程序。

一旦Sparkconf对象被创建提交，它的内容不能被修改。Spark不支持动态配置SparkConf。

SparkConf定义了属性，setMaster是对spark.master的设置；setAppName是对属性spark.app.name的设置。

setMaster(String master)

定义Spark连接的master URL。如果设置"local"则单线程本地运行；设置"local\[number\]"则number个线程本地运行;设置"spark://master:7077"则运行在Spark standalone cluster。

setJars(String\[\] jars)

### 日志配置 ###

conf目录下log4j.properties文件。

如果配置和整个Application相关的项，使用SparkConf类。

如果配置本机相关的项或者环境变量，使用spark-env.sh。

### spark-submit总结 ###

1.Spark-defaults.conf

编辑driver所在机器上的spark-defaults.conf，该文件会影响到driver所提交运行的application，及专门为该application提供计算资源的executor的启动参数。只需要在driver所在机器上编辑该文件，不需要在worker或者master上编辑。

2.spark-env.sh

如果运行的是master，需要指定SPARK\_MASTER\_IP;如果运行driver或worker需要指定SPARK\_LOCAL\_IP,要和本机的IP地址一致，否则启动不了。

3.启动

第一步启动master

$SPARK\_HOME/sbin/start-master.sh

第二步 启动worker

(1)  $SPARK\_HOME/bin/spark-class org.apache.spark.deploy.worker.Worker  spark://master:7077

(2) SPARK\_HOME/sbin/start-slaves.sh

如果需要在一台机器上运行多个worker,那么在启动第二个和后面的worker时需要指定  --webui-port  number ,否则会报端口已经被占用的错误。这种启动方式只是为了测试。

4.spark-submit

参数：

\--driver-class-path   driver所依赖的包，多个包之间用冒号分割

\--jars              driver和executor都需要的包，多个包之间用逗号分割。一般只用--jars来指定依赖。这些上传到worker的文件，需要定时手工清理，否则会占用很多磁盘空间。

### spark on yarn ###

Spark支持可插拔的集群管理模式(Standalone、Mesos、Yarn)。

(1)spark on yarn

使用spark客户端来向Yarn提交任务，需要将spark的部署包放置到yarn集群的某个节点上。Spark本身的worker、master不需要启动。

on Yarn的两种运行方式，其运行结束后的日志不能在yarn的application管理界面看到，只能在客户端看到：

yarn  logs -applicationId <applicationId>

部署这种模式，需要修改conf目录下的spark-env.sh，

export HADOOP\_HOME=

export HADOOP\_CONF\_DIR=

yarn-cluster和yarn-client方式的区别

yarn-cluster：Spark Driver作为一个ApplicationMater在yarn中先启动，然后再由ApplicationMaster向RM申请资源启动executor来运行task。因为driver在yarn中运行，所以程序的运行结果不能在客户端显示。

yarn-client：Spark Driver在客户端运行，然后向yarn申请executor运行task。客户端的Drive将应用提交给yarn后，yarn先后启动ApplicationMaster和executor，两者都是在container中运行，container默认内存为1G。

ApplicationMaster分配的内存为driver-memory，executor分配的内存为executor-memory。因为Driver在客户端，所以程序的运行结果可以在客户端显示。

Driver以SparkSubmit的形式存在。

spark-submit --master yarn 默认是按照yarn-client的方式运行，用户可以指定--master yarn/yarn-client/yarn-cluster。

命令的文件路径是相当于HDFS的/user/hadoop而言。hadoop是当前用户。

\--deploy-mode client/cluster   Driver程序运行的地方

\--name  appname      application名称

spark-defaults.conf配置文件

spark.history.retainedApplications   250 保存Application历史记录的个数

spark.history.ui.port                             18080   HistoryServer的端口

spark.eventLog.enabled                 False      是否记录Spark事件

spark.eventLog.dir                           保存日志的路径，可以是hdfs://或者file://

spark.yarn.historyServer.address

启动historyServer:

./start-history-server.sh        hdfs://xxx

Spark代码总结(1)

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 spark原理总结

相关 Spark Streaming 总结

相关 Swing代码总结1

相关 Spark1.1.0 Spark Streaming Programming Guide

相关 Spark1.1.0 Spark Programming Guide

相关 Spark（1.2.0） Streaming 集成 Kafka 总结

相关 Spark代码总结(1)

相关 Spark资料总结

相关 Spark算子总结

相关 Spark_总结