Spark 大数据处理最佳实践

╰+哭是因爲堅強的太久メ 2022-08-30 11:42 228阅读 0赞

## 开源大数据社区 & 阿里云 EMR 系列直播 第十一期 ##

**主题：**Spark 大数据处理最佳实践

**讲师：**简锋，阿里云 EMR 数据开发平台 负责人

**内容框架：**

*  大数据概览
 *  如何摆脱技术小白
 *  Spark SQL 学习框架
 *  EMR Studio 上的大数据最佳实践

**直播回放：**进入链接[https://developer.aliyun.com/live/247072][https_developer.aliyun.com_live_247072]

## 一、大数据概览 ##

*  大数据处理 ETL (Data  → Data)
 *  大数据分析 BI   (Data  →  Dashboard)
 *  机器学习    AI   (Data  →  Model)

![image.png][]

## 二、如何摆脱技术小白 ##

### 什么是技术小白？ ###

*  只懂表面，不懂本质

比如：只懂得参考别人的 Spark 代码，不懂得 Spark 的内在机制，不懂得如何调优       Spark Job

### 摆脱技术小白的药方 ###

*  懂得运行机制
 *  学会配置
 *  学会看 Log

懂得运行机制：Spark SQL Architecture

![image.png][image.png 1]

学会配置：如何配置 Spark App

*  **配置 Driver**

• spark.driver.memory

• spark.driver.cores

*  **配置 Executor**

• spark.executor.memory

• spark.executor.cores

*  **配置 Runtime**

• spark.files

• spark.jars

*  **配置 DAE**
 *  …..........

** **

** 参考网址：**https://spark.apache.org/docs/latest/configuration.html

学会看 Log：Spark Log

![image.png][image.png 2]

## 三、Spark SQL  学习框架 ##

### Spark SQL 学习框架( 结合图形/几何） ###

1. Select Rows

![image.png][image.png 3]

![image.png][image.png 4]

2. Select Columns

![image.png][image.png 5]

![image.png][image.png 6]

3. Transform Column

![image.png][image.png 7]

![image.png][image.png 8]

4. Group By / Aggregation

![image.png][image.png 9]

![image.png][image.png 10]

5. Join

![image.png][image.png 11]

![image.png][image.png 12]

### Spark SQL 执行计划 ###

1. Spark SQL - Where

![image.png][image.png 13]

2. Spark SQL - Group By

![image.png][image.png 14]

3. Spark SQL - Order by

![image.png][image.png 15]

## 四、EMR Studio 实践 ##

### EMR Studio 特性： ###

*  兼容开源组件
 *  支持连接多个集群
 *  适配多个计算引擎
 *  交互式开发 + 作业调度无缝衔接
 *  适用多种大数据应用场景
 *  计算存储分离

1. 兼容开源组件

*  EMR Studio 在开源软件 Apache Zeppelin，Jupyter Notebook, Apache Airflow 的基础上优化了做了优化和增强。

![image.png][image.png 16]

2. 支持连接多个集群

*  一个 EMR Studio 可以连接多个 EMR 计算集群，您可以很方便地切换计算集群，提交作业到不同的计算集群上运行。

![image.png][image.png 17]

3. 适配多个计算引擎

*  自动适配 Hive、Spark、Flink、Presto、Impala 和 Shell 等多个计算引擎，无需复杂配置，多个计算引擎间协同工作

![image.png][image.png 18]

4. 交互式开发 + 作业调度无缝衔接

**Notebook + Airflow** **: 无缝衔接开发环节和生产调度环节**

*  利用交互式开发模式可以快速验证作业的正确性.
 *  在 Airflow 里调度 Notebook 作业，最大程度得保证开发环境和生产环境的一致性，防止由于开发阶段和生产阶段环境不一致而导致的问题。

![image.png][image.png 19]

5. 适用多种大数据应用场景

*  大数据处理 ETL
 *  交互式数据分析
 *  机器学习
 *  实时计算

6. 计算存储分离

*  **所有数据都保存在 OSS 上，包括：**

• 用户 Notebook 代码

• 调度作业 Log

*  **即使集群销毁，也可以重建集群轻松恢复数据**

![image.png][image.png 20]

### EMR Studio  Demo 演示： ###

**参考文档：**[https://][https][help.aliyun.com][https][/][https][document\_detail][https][/208107.html?spm=a2c4g.11186623.6.845.6cfc24577t1RbI][https]

[原文链接][Link 1]

本文为阿里云原创内容，未经允许不得转载。

[https_developer.aliyun.com_live_247072]: https://developer.aliyun.com/live/247072
[image.png]: /images/20220829/2843710d70c04523bdb29a634662dee7.png
[image.png 1]: /images/20220829/adfff58a79ad44c2ae41f62952205b21.png
[image.png 2]: /images/20220829/91b2c7257f174a80b5598ef6e35dc723.png
[image.png 3]: /images/20220829/e156537d028945dba32ff402b0dddb9c.png
[image.png 4]: /images/20220829/5f84c117a0cc4fd0942b3097bd5c4298.png
[image.png 5]: /images/20220829/c2c967f67130499c9428e401a0cdf698.png
[image.png 6]: /images/20220829/0254efc173f346ac86bd8123fe96ffbf.png
[image.png 7]: /images/20220829/1349ec77906940f5947dd03c7a78afb0.png
[image.png 8]: /images/20220829/edba77c3d56c4bd0a2a900e5f6147a46.png
[image.png 9]: /images/20220829/4d97021633e7473ab4921be1a11b8b15.png
[image.png 10]: /images/20220829/76999ab955c741829efa4ecf2759f182.png
[image.png 11]: /images/20220829/d0c3e327093d4d089cd5c8b4935a7eb1.png
[image.png 12]: /images/20220829/75ea8c84a4224d4ba8cc607dd9d5448b.png
[image.png 13]: /images/20220829/e401dfec70004ea195910c1222e10a04.png
[image.png 14]: /images/20220829/63693b4d1af749aca04d98279461e750.png
[image.png 15]: /images/20220829/b4f7b256ab1c4beeb1a8a23bee582905.png
[image.png 16]: /images/20220829/5200dd50d2be4228b7083ff6a369d0fd.png
[image.png 17]: /images/20220829/e1ee08d4cd354388af492f780515ca63.png
[image.png 18]: /images/20220829/057dd08be3894d3abc1b5ecbaacefeb1.png
[image.png 19]: /images/20220829/f7b2bd3b6ac74e63a1819c097cf8d69e.png
[image.png 20]: /images/20220829/e786145500194a898fe96228171f4c43.png
[https]: https://help.aliyun.com/document_detail/208107.html?spm=a2c4g.11186623.6.845.6cfc24577t1RbI
[Link 1]: http://click.aliyun.com/m/1000284515/