SparkStreaming简单介绍；SparkStreaming处理数据流程；SparkStreaming运行工作原理与简单优化

朱雀 2021-11-01 06:32 411阅读 0赞

# SparkStreaming简单介绍 #

流式数据处理（stream processing）
    要处理的数据就像流水一样，源源不断的产生数据，需要实时进行处理
    对SparkCore的高级API的封装，将流式的数据切分为小的批次batch（按照时间间隔）的数据，然后使用SparkCore进行处理
    返回数据集合类型：DStream集合，List<RDD>
    StreamingContext:上下文对象，从实时流式数据源中接收数据

# 大数据技术框架中，对于流式数据的实时数据分析处理方案 #

## 一条一条的处理 ##

来一条数据就处理一条数据

### 典型框架：Storm ###

特点：
    		实时性很高，亚秒级别，延迟性很低
    	阿里巴巴
    		将Storm改成成适合Java开发JStorm，将JStorm开源，
            2017开始放弃JStorm,改用Blink
            Storm ->JStorm
    		2017:
    	    link ->Blink

### 一批次一批次数据的处理 ###

按照时间间隔将数据划分，时间比较短，比如1s
    	框架：Spark Streaming
    		近实时流式数据处理框架，延迟性也很低，2.2.0以后开始，1ms以内

# SparkStreaming处理数据流程 #

## （1）数据源 ##

从哪里读取数据，进程数据的处理
    Kafka（多数）
    Flume(少数)：Flume可以实时采集数据，然后给Spark
    TCP socket（开发测试）

## （2）数据处理 ##

DStream#transfotmation
    		调用转换函数，将一个DStream转成另外一个DStream
    	针对不同的业务使用不同函数
    	企业使用最多2种统计类型函数
    		-实时累加统计
    			比如 双十一，销售订单额，订单数统计
                DStream.updateStateByKey
    		-实时统计某时段内数据
    			比如：趋势分析，滴滴打车，最近10分钟路况，未来30分钟路况
    				11:20~11:50 半小时内，订单未送达的量
    			DStream#window

## （3）存储数据 ##

就是就是调用RDD中API将数据存储，批次处理（core）
    	console
    		开发测试的时候，将实时分析的数据每次批次结果RDD数据打印在控制台
    	redis
    		基于内存的分布式Key/value数据库
    	HBase
    		存储到HBase表中
    	RDBMS
    		关系型数据

#### 企业中典型技术架构 ####

flume/SDK ->Kafka ->SparkStreaming/Storm/Flink   ->redis/HBase

# SparkStreaming运行工作原理 #

## batchInterval：批处理时间间隔 ##

·通过创建StreamingContext实例对象的时候进行设置
    表明每次处理数据时间间隔，RDD

## blockInterval：每个Block时间间隔 ##

启动Streaming应用的时候，将启动Receiver用于接收数据
    按照blockInterval将数据划分为Block，
    默认blockInterval为200ms

## 计算 ##

如果一个batchInterval是1S，blockInterval为200ms,有几个block块
    batchInterva/blockInterval  = 5

## 优化 ##

对于SparkStreaming实时流式数据
    	每个批次处理的时间 小于等于 batchInterval时间
    如果大于，需要考虑优化程序
    	每批次的数据RDD在执行，可以增加RDD分区数，增加Task数目，在资源充足的情况下，增加并行执行Task数目

### 优化点 ###