spark1.6学习（三）——spark-submit

你的名字 2022-04-13 06:49 197阅读 0赞

参考： [http://spark.apache.org/docs/1.6.0/submitting-applications.html\#master-urls][http_spark.apache.org_docs_1.6.0_submitting-applications.html_master-urls]

这里详细介绍了一下spark-submit的参数使用和功能，需要看一下。

这里遇到问题，当换成yarn-client方式运行的时候会一直出现提示：

18/10/27 02:06:50 INFO yarn.Client: Application report for application\_1540605321820\_0009 (state: ACCEPTED)

18/10/27 02:06:51 INFO yarn.Client: Application report for application\_1540605321820\_0009 (state: ACCEPTED)

18/10/27 02:06:52 INFO yarn.Client: Application report for application\_1540605321820\_0009 (state: ACCEPTED)

在cdh里面看一下yarn集群的执行任务情况：

发现已经有一个任务正在运行，并且，没有多余的资源空闲出来给新的任务，而且那个任务停在那里不再执行了，所以利用yarn的命令停掉任务。

yarn application -kill application\_1540605321820\_0009

详细的job运行情况需要看这里[http://cdh1:8088/cluster][http_cdh1_8088_cluster]

关于spark-submit的具体参数说明和使用，我会在后面详细介绍。

[http_spark.apache.org_docs_1.6.0_submitting-applications.html_master-urls]: http://spark.apache.org/docs/1.6.0/submitting-applications.html#master-urls
[http_cdh1_8088_cluster]: http://cdh1:8088/cluster

发表评论取消回复

表情：

评论列表（有 0 条评论，197人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark 内核 (三) --------- Spark 通讯架构

目录一、Spark 通信架构概述二、Spark 通讯架构解析 -------------------- 一、Spark 通信架构概述 Spark

痛定思痛。/ 2024年04月07日 13:18/ 0 赞/ 72 阅读

相关 Spark (三) --------- Spark 运行环境

目录一、Local 模式 1. 解压缩文件 2. 启动 Local 环境 3. 命令行工具 4. 退出本地模

水深无声/ 2024年04月07日 10:29/ 0 赞/ 87 阅读

相关 Spark 优化 (三) --------- Spark 故障排除

目录一、控制 reduce 端缓冲大小以避免 OOM 二、JVM GC 导致的 shuffle 文件拉取失败三、解决各种序列化导致的报错四、

红太狼/ 2024年03月24日 12:04/ 0 赞/ 77 阅读

相关 spark学习5：spark-shell

1.spark提供了交互式接口 spark-shell spark-shell 实现了用户可以逐行输入代码，进行操作的功能。即可以不像Java一样，编写完所有代

た入场券/ 2023年01月22日 09:49/ 0 赞/ 28 阅读

相关 spark学习4：spark安装

1.下载spark安装包 2.配置环境 1.cd /bigdata/spark-3.0.1-bin-hadoop3.2/conf/ 2.4.添加动态库

以你之姓@/ 2023年01月22日 03:52/ 0 赞/ 67 阅读

相关【Spark深入学习 -16】官网学习SparkSQL

\----本节内容\------- 1.概览 1.1 Spark SQL 1.2 DatSets和DataFrame 2.动手干

约定不等于承诺〃/ 2022年10月02日 06:46/ 0 赞/ 371 阅读

相关【PySpark学习笔记三】spark-submit命令详解

spark-submit命令利用可重用的模块形式编写脚本，并且以编程方式提交作业到Spark。 spark-submit命令 spark-submit命令提供一个统一的

电玩女神/ 2022年05月12日 15:18/ 0 赞/ 368 阅读

相关 spark1.6学习（三）——spark-submit

参考： [http://spark.apache.org/docs/1.6.0/submitting-applications.html\master-urls][http_s

你的名字/ 2022年04月13日 06:49/ 0 赞/ 198 阅读

相关 Spark学习（5）- Spark Streaming

目录： 1. Spark Streaming简介 1. 概述 2. 工作原理 3. 离散流 DStreams 2. Spark S

缺乏、安全感/ 2022年03月12日 03:16/ 0 赞/ 317 阅读

相关 Spark学习

Spark是什么 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室开发的通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。

ゞ浴缸里的玫瑰/ 2022年03月10日 14:49/ 0 赞/ 190 阅读