Apache Spark™是用于大规模数据处理的统一分析引擎

拼搏现实的明天。 2022-12-02 15:09 142阅读 0赞

**目录**

简介

特点

性能特点

基本原理

计算方法

速度

使用方便

概论

无处不在

社区

贡献者

入门

--------------------

文章参考：[百度百科spark ][spark]

Apache官方介绍：[https://spark.apache.org/][https_spark.apache.org]

Apache官方下载：[https://spark.apache.org/downloads.html][https_spark.apache.org_downloads.html]

### 简介 ###

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

Spark 是在 [Scala][] 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 [Scala][] 能够紧密集成，其中的 [Scala][] 可以像操作本地集合对象一样轻松地操作分布式数据集。

尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。

###  特点 ###

首先，高级 API 剥离了对集群本身的关注，Spark 应用开发者可以专注于应用所要做的计算本身。

其次，Spark 很快，支持交互式计算和复杂算法。

最后，Spark 是一个通用引擎，可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等，而在 Spark 出现之前，我们一般需要学习各种各样的引擎来分别处理这些需求。

### 性能特点 ###

*  更快的速度

内存计算下，Spark 比 Hadoop 快100倍。

[![计算时间比较][format_png]][format_png 1]计算时间比较

*  易用性

Spark 提供了80多个高级运算符。

*  通用性

Spark 提供了大量的库，包括Spark Core、Spark SQL、Spark Streaming、MLlib、GraphX。 开发者可以在同一个应用程序中无缝组合使用这些库。

*  支持多种资源管理器

Spark 支持 Hadoop YARN，Apache Mesos，及其自带的独立集群管理器

*  Spark生态系统
 *  Shark：Shark基本上就是在Spark的框架基础上提供和Hive一样的HiveQL命令接口，为了最大程度的保持和Hive的兼容性，Spark使用了Hive的API来实现query Parsing和 Logic Plan generation，最后的PhysicalPlan execution阶段用Spark代替HadoopMapReduce。通过配置Shark参数，Shark可以自动在内存中缓存特定的RDD，实现数据重用，进而加快特定数据集的检索。同时，Shark通过UDF用户自定义函数实现特定的数据分析学习算法，使得SQL数据查询和运算分析能结合在一起，最大化RDD的重复使用。
 *  SparkR：SparkR是一个为R提供了轻量级的Spark前端的R包。 SparkR提供了一个分布式的data frame数据结构，解决了 R中的data frame只能在单机中使用的瓶颈，它和R中的data frame 一样支持许多操作，比如select,filter,aggregate等等。（类似dplyr包中的功能）这很好的解决了R的大数据级瓶颈问题。 SparkR也支持分布式的机器学习算法，比如使用MLib机器学习库。   SparkR为Spark引入了R语言社区的活力，吸引了大量的数据科学家开始在Spark平台上直接开始数据分析之旅。

### 基本原理 ###

Spark Streaming：构建在Spark上处理Stream数据的框架，基本的原理是将Stream数据分成小的时间片段（几秒），以类似batch批量处理的方式来处理这小部分数据。Spark Streaming构建在Spark上，一方面是因为Spark的低延迟执行引擎（100ms+），虽然比不上专门的流式数据处理软件，也可以用于实时计算，另一方面相比基于Record的其它处理框架（如Storm），一部分窄依赖的RDD数据集可以从源数据重新计算达到容错处理目的。此外小批量处理的方式使得它可以同时兼容批量和实时数据处理的逻辑和算法。方便了一些需要历史数据和实时数据联合分析的特定应用场合。

### 计算方法 ###

*  Bagel: Pregel on Spark，可以用Spark进行图计算，这是个非常有用的小项目。Bagel自带了一个例子，实现了Google的PageRank算法。
 *  当下Spark已不止步于实时计算，目标直指通用大数据处理平台，而终止Spark，开启SparkSQL或许已经初见端倪。
 *  近几年来，大数据机器学习和数据挖掘的并行化算法研究成为大数据领域一个较为重要的研究热点。早几年国内外研究者和业界比较关注的是在 Hadoop 平台上的并行化算法设计。然而， HadoopMapReduce 平台由于网络和磁盘读写开销大，难以高效地实现需要大量迭代计算的机器学习并行化算法。随着 UC Berkeley AMPLab 推出的新一代大数据平台 Spark 系统的出现和逐步发展成熟，近年来国内外开始关注在 Spark 平台上如何实现各种机器学习和数据挖掘并行化算法设计。为了方便一般应用领域的数据分析人员使用所熟悉的 R 语言在 Spark 平台上完成数据分析，Spark 提供了一个称为 SparkR 的编程接口，使得一般应用领域的数据分析人员可以在 R 语言的环境里方便地使用 Spark 的并行化编程接口和强大计算能力。

### 速度 ###

运行工作负载的速度提高了100倍。

Apache Spark使用最新的DAG调度程序，查询优化器和物理执行引擎，可实现批处理和流数据的高性能。

![format_png 2][]

Hadoop和Spark中的逻辑回归

### 使用方便 ###

使用Java，Scala，Python，R和SQL快速编写应用程序。

Spark提供了80多个高级操作员，可轻松构建并行应用程序。您可以 从Scala，Python，R和SQL Shell *交互*使用它。

df = spark.read.json("logs.json") df.where("age > 21")   .select("name.first").show()
    
    Spark's Python DataFrame API
    Read JSON files with automatic schema inference

### 概论 ###

结合使用SQL，流和复杂的分析。

星火权力库，包括一叠 [SQL和DataFrames][SQL_DataFrames]，[MLlib][]机器学习， [GraphX][]和[星火流][Link 1]。您可以在同一应用程序中无缝组合这些库。

![format_png 3][]

### 无处不在 ###

Spark可在Hadoop，Apache Mesos，Kubernetes，独立或云中运行。它可以访问各种数据源。

您可以在[EC2][]，[Hadoop YARN][]，[Mesos][]或[Kubernetes][]上使用其[独立集群模式][Link 2]运行Spark 。访问[HDFS][]， [Alluxio][]， [Apache Cassandra][]， [Apache HBase][]， [Apache Hive][]以及数百种其他数据源中的数据。

![format_png 4][]

### 社区 ###

Spark被广泛的组织所使用，以处理大型数据集。您可以在[Powered By][]页面上找到许多示例用例 。

有很多联系社区的方法：

*  使用[邮件列表][Link 3]提出问题。
 *  面对面的活动包括许多[聚会小组和会议][Link 4]。
 *  我们使用[JIRA][]进行问题跟踪。

### 贡献者 ###

Apache Spark由300多家公司的众多开发人员构建。自2009年以来，已有1200多名开发人员为Spark！做贡献！

该项目的 [提交者][Link 5] 来自25个以上的组织。

如果您想参加Spark或为它之上的图书馆[做贡献][Link 6]，请学习 [如何贡献][Link 6]。

### 入门 ###

无论您是来自Java，Scala，Python，R还是SQL背景，学习Apache Spark都很容易：

*  [下载][Link 7]最新版本：您可以在笔记本电脑上本地运行Spark。
 *  阅读[快速入门指南][Link 8]。
 *  了解如何在集群上[部署][Link 9] Spark。

[spark]: https://baike.baidu.com/item/SPARK/2229312?fr=aladdin
[https_spark.apache.org]: https://spark.apache.org/
[https_spark.apache.org_downloads.html]: https://spark.apache.org/downloads.html
[Scala]: https://baike.baidu.com/item/Scala/2462287
[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9ia2ltZy5jZG4uYmNlYm9zLmNvbS9waWMvYjE3ZWNhODA2NTM4MGNkNzJmYjAwOTE3YWM0NGFkMzQ1ODgyODE5YQ?x-oss-process=image/format,png
[format_png 1]: /images/20221123/f1fb64b40bb745ae990c9252f52853be.png
[format_png 2]: /images/20221123/5aaebbe0559a4f72904ba9abd017787e.png
[SQL_DataFrames]: http://spark.apache.org/sql/
[MLlib]: http://spark.apache.org/mllib/
[GraphX]: http://spark.apache.org/graphx/
[Link 1]: http://spark.apache.org/streaming/
[format_png 3]: /images/20221123/2fbeaa17809f4a1798ee6a9e7093ec6f.png
[EC2]: https://github.com/amplab/spark-ec2
[Hadoop YARN]: https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html
[Mesos]: https://mesos.apache.org/
[Kubernetes]: https://kubernetes.io/
[Link 2]: http://spark.apache.org/docs/latest/spark-standalone.html
[HDFS]: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html
[Alluxio]: https://www.alluxio.org/
[Apache Cassandra]: https://cassandra.apache.org/
[Apache HBase]: https://hbase.apache.org/
[Apache Hive]: https://hive.apache.org/
[format_png 4]: /images/20221123/7feee0d673d547bdb52526766998a4ee.png
[Powered By]: http://spark.apache.org/powered-by.html
[Link 3]: http://spark.apache.org/community.html#mailing-lists
[Link 4]: http://spark.apache.org/community.html#events
[JIRA]: https://issues.apache.org/jira/browse/SPARK
[Link 5]: http://spark.apache.org/committers.html
[Link 6]: http://spark.apache.org/contributing.html
[Link 7]: http://spark.apache.org/downloads.html
[Link 8]: http://spark.apache.org/docs/latest/quick-start.html
[Link 9]: http://spark.apache.org/docs/latest/#launching-on-a-cluster