流式计算简介

秒速五厘米 2022-05-14 15:24 259阅读 0赞

# 1、数据的时效性 #

日常工作中，我们一般会先把数据存储在一张表中，然后对这张表的数据进行加工、分析。那这里是先存储在表中，那就会涉及到时效性这个概念。

如果我们处理以年，月为单位的级别的数据处理，进行统计分析，个性化推荐，那么数据的的最新日期离当前有几个甚至上月都没有问题。但是如果我们处理的是以天为级别，或者以小时甚至更小粒度的数据处理，那么就要求数据的时效性更高了。比如：对网站的实时监控，对异常日志的监控，这些场景需要工作人员立即响应，这样的场景下，传统的统一收集数据，再存到数据库中，再取出来进行分析就无法满足高时效性的需求了。

## 2、流式计算和批量计算 ##

上面说到的：**统一收集数据--存储到DB--对数据进行批量处理，就是我们说到的批量计算**。

而流式计算，顾名思义，就是对数据流进行处理，是实时计算。

主要原理是：

（1）与批量计算那样慢慢积累数据不同，流式计算将**大量数据平摊到每个时间点上**，连续地对小批量数据的进行传输，数据持续流动，计算完之后就丢弃。

（2）批量计算是维护一张表，对表进行实施各种计算逻辑。流式计算相反，是必须**先定义好计算逻辑，提交到流式计算系统**，这个计算作业逻辑在整个运行期间是不可更改的。

（3）计算结果上，批量计算对全部数据进行计算后传输结果，流式计算是**每次小批量计算后，结果可以立刻投递到在线系统**，做到实时化展现。

## 3、流式计算流程及特性 ##

流程：

（1）提交流计算作业

（2）等待流式数据触发流计算作业

（3）计算结果持续不断对外写出

特性：

（1）实时，低延迟

（2）无界，数据是不断输出无终止的

（3）连续，计算连续进行，计算之后数据就会被丢弃

## 4、相关产品 ##

Strom：Twitter 开发的第一代流处理系统。

Heron：Twitter 开发的第二代流处理系统。

Spark streaming：是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。

**Flink：**是一个针对流数据和批数据的分布式处理引擎。

Apache Kafka：由[Scala][]写成。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。

[Scala]: https://baike.baidu.com/item/Scala

发表评论取消回复

表情：

评论列表（有 0 条评论，259人围观）

还没有评论，来说两句吧...

相关阅读

相关 java的流式计算

好的，下面我来举一些例子来说明 Java 8 中的流式计算 API： 1. 过滤（filter）： \`\`\` List<String> names = Arrays

╰+哭是因爲堅強的太久メ/ 2024年03月16日 14:17/ 0 赞/ 75 阅读

相关【JUC】008-Stream流式计算

一、概述 1、什么是Stream流式计算 > 大数据：存储 + 计算； > > 存储：集合、数据库等等； > > 计算：都应该交给流来进行； Stream（流

今天药忘吃喽~/ 2023年10月05日 14:59/ 0 赞/ 13 阅读

相关 Java_函数式接口&Stream流式计算

文章目录函数式接口流(Stream) 特点操作阶段 demo 函数式接口 ![在这里插入图片描述][wa

电玩女神/ 2023年03月13日 03:52/ 0 赞/ 13 阅读

相关 python流式计算_如何处理流式FX数据并计算livestream ATR（）？

我正在尝试使用python进行算法交易，以便进行回溯测试。在首先我下载了一些tick数据，然后将它们重新采样为10秒的OHLC数据，然后使用ATR指示符作为定义函数：df

我不是女神ヾ/ 2023年01月08日 15:23/ 0 赞/ 154 阅读

相关 Java8 流式计算Stream

Java8 流式计算 Stream 1.Java8常见的reduce规约 1.Java8常见的reduce规约 Collectors收集，分组，统计，计算

落日映苍穹つ/ 2022年12月21日 15:51/ 0 赞/ 228 阅读

相关 Flink流式计算处理

参考文章：[Flink流式计算处理][Flink] Storm缺点: 1. 并不能保证exactly-once(精确一次), 2. 能保证低延迟,但不能

女爷i/ 2022年09月14日 01:57/ 0 赞/ 254 阅读

相关 Java - Stream 流式计算

四大函数式接口 Function 函数型接口：有入参，有返回值 public void testFunction() { // JDK1

男娘i/ 2022年09月07日 01:18/ 0 赞/ 177 阅读

相关实时计算和流式计算的区别

实时计算，强调的是实时。比如小明要查看他去年一年的消费总额度，那么当小明点下统计按钮的时候，服务器集群就在噼里啪啦的赶紧计算了，必须在小明能够忍耐的时间范围内得出结果。这种计算

柔情只为你懂/ 2022年07月15日 13:01/ 0 赞/ 287 阅读

相关一. 流式处理简介

[https://www.cnblogs.com/shenlanzhizun/p/6027042.html][https_www.cnblogs.com_shenlanzhiz

爱被打了一巴掌/ 2022年06月04日 09:05/ 0 赞/ 255 阅读

相关流式计算简介

1、数据的时效性日常工作中，我们一般会先把数据存储在一张表中，然后对这张表的数据进行加工、分析。那这里是先存储在表中，那就会涉及到时效性这个概念。如果我们处理以年，

秒速五厘米/ 2022年05月14日 15:24/ 0 赞/ 260 阅读