IMF传奇行动第82课：Spark Streaming第一课：案例动手实战并在电光石火间理解其工作原理

今天药忘吃喽~ 2022-07-29 11:56 175阅读 0赞

**流（Streaming****）**，在大数据时代为数据流处理，就像水流一样，是数据流；既然是数据流处理，就会想到数据的流入、数据的加工、数据的流出。

日常工作、生活中数据来源很多不同的地方。例如：工业时代的汽车制造、监控设备、工业设备会产生很多源数据；信息时代的电商网站、日志服务器、社交网络、金融交易系统、黑客攻击、垃圾邮件、交通监控等；通信时代的手机、平板、智能设备、物联网等会产生很多实时数据，数据流无处不在。

**在大数据时代SparkStreaming能做什么？**

平时用户都有网上购物的经历，用户在网站上进行的各种操作通过SparkStreaming流处理技术可以被监控，用户的购买爱好、关注度、交易等可以进行行为分析。在金融领域，通过SparkStreaming流处理技术可以对交易量很大的账号进行监控，防止罪犯洗钱、财产转移、防欺诈等。在网络安全性方面，黑客攻击时有发生，通过SparkStreaming流处理技术可以将某类可疑IP进行监控并结合机器学习训练模型匹配出当前请求是否属于黑客攻击。其他方面，如：垃圾邮件监控过滤、交通监控、网络监控、工业设备监控的背后都是SparkStreaming发挥强大流处理的地方。

**大数据时代，数据价值一般怎么定义？**

所有没经过流处理的数据都是无效数据或没有价值的数据；数据产生之后立即处理产生的价值是最大的，数据放置越久或越滞后其使用价值越低。以前绝大多数电商网站盈利走的是网络流量（即用户的访问量），如今，电商网站不仅仅需要关注流量、交易量，更重要的是要通过数据流技术让电商网站的各种数据流动起来，通过实时流动的数据及时分析、挖掘出各种有价值的数据；比如：对不同交易量的用户指定用户画像，从而提供不同服务质量；准对用户访问电商网站板块爱好及时推荐相关的信息。

**Spark Streaming VSHadoop MR：**

Spark Streaming是一个准实时流处理框架，而HadoopMR是一个离线、批处理框架；很显然，在数据的价值性角度，Spark Streaming完胜于Hadoop MR。

**Spark Streaming VSStorm：**

Spark Streaming是一个准实时流处理框架，处理响应时间一般以分钟为单位，也就是说处理实时数据的延迟时间是秒级别的；Storm是一个实时流处理框架，处理响应是毫秒级的。所以在流框架选型方面要看具体业务场景。需要澄清的是现在很多人认为SparkStreaming流处理运行不稳定、数据丢失、事务性支持不好等等，那是因为很多人不会驾驭SparkStreaming及Spark本身。在SparkStreaming流处理的延迟时间方面，DT\_Spark大数据梦工厂即将推出的Spark定制版本，会将Spark Streaming的延迟从秒级别推进到100毫秒之内甚至更少。

**Spark Streaming优点：**

1、提供了丰富的API，企业中能快速实现各种复杂的业务逻辑。

2、流入**Spark Streaming**的数据流通过和机器学习算法结合，完成机器模拟和图计算。

3、SparkStreaming基于Spark优秀的血统。

**Spark Streaming能不能像Storm一样，一条一条处理数据？**

Storm处理数据的方式是以条为单位来一条一条处理的，而SparkStreaming基于单位时间处理数据的，Spark Streaming能不能像Storm一样呢？答案是：可以的。

业界一般的做法是Spark Streaming和Kafka搭档即可达到这种效果,入下图：

![SouthEast][]

Kafka业界认同最主流的分布式消息框架，此框架即符合消息广播模式又符合消息队列模式。

Kafka内部使用的技术：

1.  Cache
2.  Interface
3.  Persistence（默认最大持久化一周）

Zero-Copy技术让Kafka每秒吞吐量几百兆，而且数据只需要加载一次到内核提供其他应用程序使用

外部各种源数据推进（Push）Kafka，然后再通过Spark Streaming抓取（Pull）数据，抓取的数据量可以根据自己的实际情况确定每一秒中要处理多少数据。

**通过SparkStreaming动手实战wordCount实例**

这里是运行一个Spark Streaming的程序：统计这个时间段内流进来的单词出现的次数.它计算的是：他规定的时间段内每个单词出现了多少次。

1、先启动下Spark集群：

![SouthEast 1][]

我们从集群里面打开下官方网站，运行下图红色方框中的命令：

![SouthEast 2][]

![SouthEast 3][]

![SouthEast 4][]

接受这个数据进行加工，就是流处理的过程，刚才那个WordCount就是以1s做一个单位。

刚才运行的时候，为什么没有结果呢？因为需要数据源。

2、获取数据源:

![SouthEast 5][]

新开一个命令终端，然后输入：

$ nc -lk 9999

![SouthEast 6][]

现在我们拷贝数据源进入运行：

![SouthEast 7][]

![SouthEast 8][]

然后按回车运行

![SouthEast 9][]

**![SouthEast 10][]**

**DStream和RDD关系：**

没有输入数据会打印的是空结果：

![SouthEast 11][]

![SouthEast 12][]

但是实际上，Job的执行是Spark Streaming框架帮我们产生的和开发者自己写的Spark代码业务逻辑没有关系，而且Spark Streaming框架的执行时间间隔可以手动配置，如：每隔一秒钟就会产生一次Job的调用。所以在开发者编写好的Spark代码时（如：flatmap、map、collect），不会导致job的运行，job运行是Spark Streaming框架产生的，可以配置成每隔一秒中都会产生一次job调用。

**Spark Streaming流进来的数据是DStream，但Spark Core框架只认RDD，这就产生矛盾了？**

Spark Streaming框架中，作业实例的产生都是基于rdd实例来产生，你写的代码是作业的模板，即rdd是作业的模板，模板一运行rdd就会被执行，此时action必须处理数据。RDD的模板就是DStream离散流，RDD之间存在依赖关系，DStream就有了依赖关系，也就构成了DStream有向无环图。这个DAG图，是模板。Spark Streaming只不过是在附在RDD上面一层薄薄的封装而已。你写的代码不能产生Job,只有框架才能产生Job.

如果一秒内计算不完数据，就只能调优了.

![SouthEast 13][]

课程笔记来源:

DT大数据梦工厂IMF传奇行动课程学员姜伟整理。YY直播永久课堂频道68917580每晚8点准时开课。

![SouthEast 14][]

[SouthEast]: /images/20220724/25508a704dab4837bf35bcc91e0c2abf.png
[SouthEast 1]: /images/20220724/7ab000f011264cf0a1127a76cc569302.png
[SouthEast 2]: /images/20220724/e2b448eb2dd74370be1220c61eeeee24.png
[SouthEast 3]: /images/20220724/f228dd90274f46619e2469aa790d84c8.png
[SouthEast 4]: /images/20220724/745ae3c51c544bf6801b292bfcc9a558.png
[SouthEast 5]: /images/20220724/f57f933d00fc4a84b165202e41c1828e.png
[SouthEast 6]: /images/20220724/5b859b0895004ccbbc56501b1991b1bc.png
[SouthEast 7]: /images/20220724/d4d30e3872b54926939455bac13414d9.png
[SouthEast 8]: /images/20220724/822b6c82ffdc490f8ff175f263ce5dd3.png
[SouthEast 9]: /images/20220724/c9e8a0287abb413685a4fb62c0fc7c17.png
[SouthEast 10]: /images/20220724/8d8ccc996edc4cb192929a205c37325b.png
[SouthEast 11]: /images/20220724/42222c474ca5475fb61d223fa81dfffe.png
[SouthEast 12]: /images/20220724/751543467e7c40c887d7be6cb2109225.png
[SouthEast 13]: /images/20220724/6f54b6d214104991a19379c82e904fa1.png
[SouthEast 14]: /images/20220724/618e5856906941d98f2b989d991462c2.png