大数据科学 Spark 的兴起

分手后的思念是犯贱 2023-10-09 19:47 20阅读 0赞

> Apache Spark 已成为处理大数据的首选解决方案。让我们来看看 Spark 受欢迎的三个原因。

**微信搜索关注《Java学研大本营》，加入读者群，分享更多精彩**

随着可用于处理和分析的数据量的增加，我们看到了向分布式系统的缓慢但明确的转变。然而，截至 2000 年代初，“大数据”的数据科学和机器学习仍然具有挑战性。当时的尖端解决方案（如 Hadoop）依赖于 Map Reduce，但在几个关键方面存在不足。

![338002709475bd17be9e911e338c3252.gif][]

*  在数据科学过程中，大部分时间都花在探索性数据分析、特征工程和选择上。这需要对数据进行复杂的多步转换，仅使用 Hadoop 中的 Map 和 Reduce 函数很难表示，这将导致大量的开发时间并产生复杂的代码库。因此，需要一种支持对数据进行复杂转换的解决方案。
 *  数据科学是一个迭代过程，Hadoop 中典型的 Map-Reduce 操作需要每次从磁盘读取数据，这使得每次迭代都非常耗时且成本高昂。因此，需要一种可以减少数据科学过程每次迭代时间的解决方案。
 *  模型需要进行生产、部署和维护。所以我们需要一个框架，它不仅可以让我们分析数据，还可以在生产中开发和部署模型。如前所述，Hadoop 不允许迭代分析，并且 R/Python 等框架不能很好地扩展到大型数据集。因此，需要一种 能够支持大数据迭代分析并将生成的 ML 模型生产化的解决方案。

### 输入 Apache Spark。 ###

![d2da40dc07cc7afabbc0ca4aff735060.gif][]

它在 2014 年的初始版本是基于上述需求而构建的。Spark 保留了 Hadoop 的可扩展性和容错性并在其上构建了以下功能

*  包括广泛的操作列表（除了 map 和 reduce），只需几行代码即可构建复杂的数据处理/分析系统。此外，为 Spark 开发的 MLlib 库有助于像使用 Scikit learn 一样直观地构建 ML 模型。这减少了开发/科学家的时间，并使代码库更易于维护。
 *  Spark 利用有向无环图或“DAG”（将其视为流程图）以跟踪您要对数据执行的操作。因此，与 Hadoop 不同，您需要将一系列 Map Reduce 作业串在一起，每个作业都需要从磁盘读取和写入，Spark DAG 可以帮助您将操作串在一起，而无需写出中间结果。这意味着多步骤数据处理/分析作业将运行得更快。Spark 还能够在内存中缓存中间结果。这在机器学习中特别有用，您可以在其中执行预处理并缓存生成的训练数据，以便在优化期间可以从内存中重复访问（因为像梯度下降这样的优化算法会多次迭代训练数据）。在 Hadoop Map-Reduce 中，必须从磁盘访问训练数据，（因为像梯度下降这样的优化算法会多次迭代训练数据）。在 Hadoop Map-Reduce 中，必须从磁盘访问训练数据，这使得该过程非常耗时。
 *  Spark 不仅可以以迭代和交互的方式分析数据（可以与 jupyter notebook 集成），还可以构建生产级数据处理和机器学习管道。

![aaa5617c62567c7d6613f969ca59a976.gif][]

这些功能使 Apache Spark 在过去十年中成为分布式数据科学和机器学习的首选框架，现在几乎在每个处理真正大数据的组织中都可以找到。

### 推荐书单 ###

#### 《项目驱动零起点学Java》 ####

《项目驱动零起点学Java》共分 13 章，围绕 6 个项目和 258 个代码示例，分别介绍了走进Java 的世界、变量与数据类型、运算符、流程控制、方法、数组、面向对象、异常、常用类、集合、I/O流、多线程、网络编程相关内容。《项目驱动零起点学Java》总结了马士兵老师从事Java培训十余年来经受了市场检验的教研成果，通过6 个项目以及每章的示例和习题，可以帮助读者快速掌握Java 编程的语法以及算法实现。扫描每章提供的二维码可观看相应章节内容的视频讲解。

《项目驱动零起点学Java》贯穿6个完整项目，经过作者多年教学经验提炼而得，项目从小到大、从短到长，可以让读者在练习项目的过程中，快速掌握一系列知识点。

马士兵，马士兵教育创始人，毕业于清华大学，著名IT讲师，所讲课程广受欢迎，学生遍布全球大厂，擅长用简单的语言讲授复杂的问题，擅长项目驱动知识的综合学习。马士兵教育获得在线教育“名课堂”奖、“最受欢迎机构”奖。

赵珊珊，从事多年一线开发，曾为国税、地税税务系统工作。拥有7年一线教学经验，多年线上、线下教育的积累沉淀，培养学员数万名，讲解细致，脉络清晰。

**购买链接：https://u.jd.com/XwJWF2r**

> > > > ### 精彩回顾 ###
> > 
> > [部署Spring Boot应用程序][Spring Boot]
> > 
> > [Java Spring Boot 3.0.0 RC1 震撼登场!][Java Spring Boot 3.0.0 RC1]

> > 微信搜索关注《Java学研大本营》
> > 
> > 访问【IT今日热榜】，发现每日技术热点

[338002709475bd17be9e911e338c3252.gif]: https://img-blog.csdnimg.cn/img_convert/338002709475bd17be9e911e338c3252.gif
[d2da40dc07cc7afabbc0ca4aff735060.gif]: https://img-blog.csdnimg.cn/img_convert/d2da40dc07cc7afabbc0ca4aff735060.gif
[aaa5617c62567c7d6613f969ca59a976.gif]: https://img-blog.csdnimg.cn/img_convert/aaa5617c62567c7d6613f969ca59a976.gif
[Spring Boot]: https://mp.weixin.qq.com/s?__biz=MzkzMDM3MjI3Nw==&mid=2247485902&idx=1&sn=f8a8b41aa78df26fbb4171bf8b14c938&chksm=c27a0614f50d8f02690b33e16513185067ad3fad6638a7f6eaf1a2b03bf01ed3fad164339cb8&scene=21#wechat_redirect
[Java Spring Boot 3.0.0 RC1]: https://mp.weixin.qq.com/s?__biz=MzkzMDM3MjI3Nw==&mid=2247485911&idx=1&sn=33ccbc9f8c9f98de24e05cdae26767f7&chksm=c27a060df50d8f1bb9d16fc293b5bd94faabacf4763d20f60a4962e709f1bd60efae4dd5a4ec&scene=21#wechat_redirect