FLink - 流式处理框架选型对比

短命女 2022-02-26 12:56 339阅读 0赞

转载原文：[https://blog.csdn.net/lmalds/article/details/52539590][https_blog.csdn.net_lmalds_article_details_52539590]

## 1、需求决定引擎选型 ##

根据马斯洛需求层次理论，可以将流处理引擎的需求分为以下几种层次：   
![这里写图片描述][20160914160759522]

1、持续性的流处理   
2、低延迟的计算结果，亚秒级别的延迟   
3、高效可扩展性，每秒百万级的吞吐量   
4、容错性，即失败时的可恢复性   
5、精确的可重复性   
6、可查询性

流处理就是在延迟、吞吐量和正确性之间做一个平衡。

## 2、当前的流处理引擎包含哪些 ##

![这里写图片描述][20160914161517697]

1、Spark Streaming   
2、Storm   
3、Flink   
4、samza   
。。。。

## 3、根据Maslow模型，在不同流处理系统之间做个简单的横向对比 ##

1、连续不断的处理   
![这里写图片描述][20160914162507876]   
都具有处理“流”的能力。

2、低延迟   
![这里写图片描述][20160914162629951]   
Spark Streaming本质是个“micro-batch”，延迟达到秒级。   
如果对“延迟性”要求很高，Spark Streaming不适合。

3、高吞吐高扩展   
![这里写图片描述][20160914163120885]   
storm在大规模集群下的吞吐量不行？直接看一组来自Yahoo的benchmark：   
![这里写图片描述][20160914163241547]

4、容错和excactly\_once   
![这里写图片描述][20160914163453704]   
Flink支持excactly\_once，通过检查点产生的分布式快照（有状态的operator）+kafka可重发的数据源完成。

5、准确性与可重发   
![这里写图片描述][20160914164000334]   
准确性依赖于对Event Time的支持以及kafka的可部分重发的数据源。

6、查询性   
![这里写图片描述][20160914164153352]   
将计算结果不断的sink到database或者key/value数据库，虽然这会成为潜在的瓶颈。

## 4、Flink实时查询服务架构 ##

![这里写图片描述][20160914164836110]   
不断的sink到nosql数据库，提供了一个实时查询的可能性！！！

## 5、根据需求，确定适合自己的流处理框架 ##

![这里写图片描述][20160914165017540]

## 6、参考 ##

[Counting in streams: A hierarchy of needs][Counting in streams_ A hierarchy of needs]   
[Stateful Stream Processing at In-Memory Speed][]   
[Yahoo Streaming Benchmarks][]   
[Apache Flink Presentation][]

[https_blog.csdn.net_lmalds_article_details_52539590]: https://blog.csdn.net/lmalds/article/details/52539590
[20160914160759522]: /images/20220226/179d85556a83472680c58ada9ec2b07e.png
[20160914161517697]: /images/20220226/a254ad79fb054d219e2e36ffcdd584d1.png
[20160914162507876]: /images/20220226/6cb66f47ad78486dbb9e7d6ee4f63f06.png
[20160914162629951]: /images/20220226/b7ab7df1338b4a3b8ed27d734ff7be48.png
[20160914163120885]: /images/20220226/342739bc8acd428d85724f38e8097c85.png
[20160914163241547]: /images/20220226/900c52a1d4724a62aa25585fe3d540eb.png
[20160914163453704]: /images/20220226/173fb243b61a47b29c067e55075aaf9c.png
[20160914164000334]: /images/20220226/5a86743e1d8f4e54b0bbbfd909874d56.png
[20160914164153352]: /images/20220226/a483731d11ce488b9c926a0c584aa35c.png
[20160914164836110]: /images/20220226/bede6d17a5e549d0af4471c9f5e444a2.png
[20160914165017540]: /images/20220226/f37fd03c402044fe8b86c5de7eea9347.png
[Counting in streams_ A hierarchy of needs]: http://data-artisans.com/counting-in-streams-a-hierarchy-of-needs/#more-675
[Stateful Stream Processing at In-Memory Speed]: http://www.slideshare.net/JamieGrier/stateful-stream-processing-at-inmemory-speed
[Yahoo Streaming Benchmarks]: https://github.com/yahoo/streaming-benchmarks
[Apache Flink Presentation]: http://wenku.baidu.com/view/453b56a10b4c2e3f572763b9.html?from=search