spark系列-应用篇之通过livy提交Spark任务

系统管理员 2022-05-15 03:23 566阅读 0赞

# 前言 #

上一篇使用yarn api的提交spark任务比较麻烦， 这次我们使用livy来提交spark任务。livy的使用十分简单，功能上比yarn api还要强大，支持提交spark代码片断，session共享

# 安装 #

*  [下载livy0.5.0][livy0.5.0]，下载完成后进行解压。
 *  配置conf/livy.conf文件，设置livy.spark.master = yarn。其他的配置项目，可以根据你的需要来配置，包括host和port等等
    
    > livy.spark.master = yarn
 *  配置conf/livy-env.sh文件，主要是配置你spark的目录，当然你也可以配置一些环境变量，如HADOOP\_USER\_NAME
    
    > export SPARK\_HOME=/usr/local/apache/spark-2.3.1-bin-hadoop2.6
 *  启动

start-dfs.sh
    start-yarn.sh
    bin/livy-server start

*  访问页面 [http://localhost:8998/][http_localhost_8998]  
    ![这里写图片描述][70]

# 使用 #

livy提供了不少的api，可以参考[官方文档][Link 1]

## 新建session ##

> post [http://localhost:8998/sessions][http_localhost_8998_sessions]

![这里写图片描述][70 1]

## 查看session状态 ##

> get [http://localhost:8998/sessions][http_localhost_8998_sessions]

![这里写图片描述][70 2]

## 提交代码片断 ##

> post [http://localhost:8998/sessions/0/statements][http_localhost_8998_sessions_0_statements]  
> 如果在同一个session，提交的代码片断是同享的，相当于你在同一个spark-shell里面进行操作  
> ![这里写图片描述][70 3]

## 查看代码运行结果 ##

> get [http://localhost:8998/sessions/0/statements/0][http_localhost_8998_sessions_0_statements_0]

![这里写图片描述][70 4]

## 杀掉session ##

> delete [http://localhost:8998/sessions/0][http_localhost_8998_sessions_0]

![这里写图片描述][70 5]

## 提交spark任务 ##

> post [http://localhost:8998/batches][http_localhost_8998_batches]

![这里写图片描述][70 6]

## 查看spark任务结果 ##

> get [http://localhost:8998/batches][http_localhost_8998_batches]

![这里写图片描述][70 7]

下面是刚才运行开始的session和提交的spark任务，在yarn任务列表中可以看到。  
![这里写图片描述][70 8]

# 总结 #

livy在使用上十分的简单，除提供rest api，还提供了jar，有兴趣的同学可以试试。

[livy0.5.0]: https://www.apache.org/dyn/closer.lua/incubator/livy/0.5.0-incubating/livy-0.5.0-incubating-bin.zip
[http_localhost_8998]: http://localhost:8998/
[70]: /images/20220515/8cb11870f6844712bb576c814281b45f.png
[Link 1]: http://livy.apache.org/docs/latest/rest-api.html
[http_localhost_8998_sessions]: http://localhost:8998/sessions
[70 1]: /images/20220515/52db3f32c6da4d659017ee47ff098fec.png
[70 2]: /images/20220515/da04ce52114a49efafbbe03b3a62e2f7.png
[http_localhost_8998_sessions_0_statements]: http://localhost:8998/sessions/0/statements
[70 3]: /images/20220515/7c962d75e9fc423396abf2429f360392.png
[http_localhost_8998_sessions_0_statements_0]: http://localhost:8998/sessions/0/statements/0
[70 4]: /images/20220515/ff024ee9801c4fa5b790f0340f503de5.png
[http_localhost_8998_sessions_0]: http://localhost:8998/sessions/0
[70 5]: /images/20220515/a1b1bf6934fa40e1a088bc96d3d1eb3e.png
[http_localhost_8998_batches]: http://localhost:8998/batches
[70 6]: /images/20220515/b79a2e2740c74454ad8076d48d7fa16d.png
[70 7]: /images/20220515/ea7d37294d324f12b5a48ca2cf6dffef.png
[70 8]: /images/20220515/9efad360e6a0470ba5d4c04edb77b6b4.png