【实战Elastic-Job】--详解当当网分布式作业框架

清疚 2022-07-13 11:41 163阅读 0赞

#          在做电商项目的时候,有很多地方需要作业来完成,通过对比在scheduler的地方用了当当网的分布式作业框架Elastic-Job而没有选择spring自带的scheduler, elastic-job可以不依赖于Spring直接运行，但是也提供了自定义的命名空间方便与Spring集成。下面小编带领你详细的了解一下Elastic-Job是什么,怎么用.一步步的学习ElastIc-Job的原理及应用. #

# 什么是作业? #

**作业即定时任务.无需做复杂的控制,在指定的时间执行指定的任务.**

# 为什么需要作业? #

**        时间驱动/事件驱动: 内部系统一般可以通过事件来驱动,但涉及到外部系统,则只能使用时间驱动.如：抓取外部系统价格.每小时抓取，由于是外部系统,不能像内部系统一样发送事件触发事件.**

**批量处理/逐条处理：批量处理堆积的数据更加高效,在不需要实时性的情况下比消息中间件更有优势,而且有的业务逻辑只能批量处理.**

**系统内部/系统解耦：作业一般封装在系统内部，而消息中间件可用于系统间解耦.**

# Elastic-Job是什么? #

**        elastic-job主要的设计理念是无中心化的分布式定时调度框架，思路来源于Quartz的基于数据库的高可用方案。但数据库没有分布式协调功能，所以在高可用方案的基础上增加了弹性扩容和数据分片的思路，以便于更大限度的利用分布式服务器的资源。Elastic-Job是ddframe中dd-job的作业模块中分离出来的分布式弹性作业框架。去掉了和dd-job中的监控和ddframe接入规范部分。**

# **怎么用?** #

**Elastic-Job常用的三种作业类型: SimpleJob, SequenceDataFlowJob和ThroughputDataFlowJob**

## **SimpleJob类型作业:** ##

**SimpleJob是常用的实现方式,意为简单实现.需要继承AbstractSimpleElasticJob ,用于执行普通的任务.**

**SimpleJob的任务测试类:**

package test.scheduler.demojob; import org.springframework.stereotype.Component; import com.dangdang.ddframe.job.api.JobExecutionMultipleShardingContext; import com.dangdang.ddframe.job.plugin.job.type.simple.AbstractSimpleElasticJob; @Component public class SimpleJobDemo extends AbstractSimpleElasticJob { @Override public void process(final JobExecutionMultipleShardingContext context) { System.out.println("#######################"); } }

## **ThroughputDataFlow类型作业** ##

**ThroughputDataFlow类型作业意为高吞吐的数据流作业。需要继承AbstractIndividualThroughputDataFlowElasticJob并可以指定返回值泛型，该类提供3个方法可覆盖，分别用于抓取数据，处理数据和指定是否流式处理数据。可以获取数据处理成功失败次数等辅助监控信息。如果流式处理数据，fetchData方法的返回值只有为null或长度为空时，作业才会停止执行，否则作业会一直运行下去；非流式处理数据则只会在每次作业执行过程中执行一次fetchData方法和processData方法，即完成本次作业。流式数据处理参照TbSchedule设计，适用于不间歇的数据处理。**

## **ThroughputDataFlow的任务测试类:** ##

package test.scheduler.demojob; import java.util.ArrayList; import java.util.List; import org.springframework.stereotype.Component; import com.dangdang.ddframe.job.api.JobExecutionMultipleShardingContext; import com.dangdang.ddframe.job.plugin.job.type.dataflow.AbstractIndividualThroughputDataFlowElasticJob; @Component public class ThroughputDataFlowJobDemo extends AbstractIndividualThroughputDataFlowElasticJob<String> { @Override public List<String> fetchData(final JobExecutionMultipleShardingContext context) { System.out.println("#####进入任务计划#######"); List<String> result = new ArrayList<String>(); for (int i = 0; i < 10; i++) { result.add(String.valueOf(i)); } return result; } @Override public boolean processData(JobExecutionMultipleShardingContext shardingContext, String data) { System.out.println(data); return true; } }

**SequenceDataFlowJob类型作业:**

**SequenceDataFlowJob和ThroughputDataFlowJob的区别是:获取数据和处理数据使用相关的数据分配规则不同.由于ThroughputDataFlow作业可以使用多于分片项的任意线程数处理，所以性能调优的可能会优于SequenceDataFlow作业。**

**SequenceDataFlowJob的测试类:**

package test.scheduler.demojob; import java.util.List; import org.springframework.stereotype.Component; import com.dangdang.ddframe.job.api.JobExecutionSingleShardingContext; import com.dangdang.ddframe.job.plugin.job.type.dataflow.AbstractBatchSequenceDataFlowElasticJob; @Component public class SequenceDataFlowJobDemo extends AbstractBatchSequenceDataFlowElasticJob<String> { @Override public List<String> fetchData(final JobExecutionSingleShardingContext context) { return null; } @Override public int processData(final JobExecutionSingleShardingContext context, final List<String> data) { return 1; } }

**如果使用spring管理的话,首先在applicationContext-scheduler的配置文件中添加基本信息:**

# `<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/context" xmlns:reg="http://www.dangdang.com/schema/ddframe/reg" xmlns:job="http://www.dangdang.com/schema/ddframe/job" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd http://www.dangdang.com/schema/ddframe/reg http://www.dangdang.com/schema/ddframe/reg/reg.xsd http://www.dangdang.com/schema/ddframe/job http://www.dangdang.com/schema/ddframe/job/job.xsd" default-lazy-init="true">  <reg:zookeeper id="regCenter" server-lists="${JOB_URL}" namespace="${namespace}" base-sleep-time-milliseconds="1000" max-sleep-time-milliseconds="3000" max-retries="3" /> </beans>`  里面用到了zookeeper的东西,这篇博客不做具体介绍,上面的部分都是基本的配置,添加需要执行的job节点 #

<job:dataflow id="sequenceDataFlowJob" class="com.dangdang.example.elasticjob.spring.job.SequenceDataFlowJobDemo" registry-center-ref="regCenter" sharding-total-count="${sequenceDataFlowJob.shardingTotalCount}" cron="${sequenceDataFlowJob.cron}" sharding-item-parameters="${sequenceDataFlowJob.shardingItemParameters}" monitor-execution="${sequenceDataFlowJob.monitorExecution}" failover="${sequenceDataFlowJob.failover}" process-count-interval-seconds="${sequenceDataFlowJob.processCountIntervalSeconds}" max-time-diff-seconds="${sequenceDataFlowJob.maxTimeDiffSeconds}" description="${sequenceDataFlowJob.description}" disabled="${sequenceDataFlowJob.disabled}" overwrite="${sequenceDataFlowJob.overwrite}" />

**节点属性的含义:**

**1.id:作业名称**

**2.class:作业实现类,需要实现ElasticJob接口,脚本型作业不需要配置**

**3.registry-center-ref:注册中心Bean的引用,需引用reg:zookeeper的声明**

**        job节点的各个属性可以放在scheduler.properties的配置文件中,如果有多个作业,可以按照这个节奏继续添加相应的任务.**

sequenceDataFlowJob.cron=0/5 * * * * ? sequenceDataFlowJob.shardingTotalCount=10 sequenceDataFlowJob.shardingItemParameters=0=A,1=B,2=C,3=D,4=E,5=F,6=G,7=H,8=I,9=J sequenceDataFlowJob.maxTimeDiffSeconds=-1 sequenceDataFlowJob.monitorExecution=true sequenceDataFlowJob.failover=true sequenceDataFlowJob.processCountIntervalSeconds=10 sequenceDataFlowJob.description=\u6309\u987A\u5E8F\u4E0D\u505C\u6B62\u8FD0\u884C\u7684\u4F5C\u4E1A\u793A\u4F8B sequenceDataFlowJob.disabled=false sequenceDataFlowJob.overwrite=true

**节点属性的含义:**

**1.cron:cron表达式,用于配置作业触发时间**

**2.shardingTotalCount:作业分片总数**

**3.shardingItemParameters:分片序列号和参数用等号分隔，多个键值对用逗号分隔分片序列号从0开始，不可大于或等于作业分片总数如：0=a,1=b,2=c**

**4.maxTimeDiffSeconds:最大允许的本机与注册中心的时间误差秒数如果时间误差超过配置秒数则作业启动时将抛异常配置为-1表示不校验时间误差**

**5.failover:是否开启失效转移仅monitorExecution开启，失效转移才有效**

**6.processCountIntervalSeconds:统计作业处理数据数量的间隔时间,单位：秒**

**7.description:作业描述信息**

**8.disabled:作业是否禁止启动,可用于部署作业时,先禁用启动,部署结束后统一启动**

**9.overwrite:本地配置是否可覆盖注册中心配置,如果可覆盖,每次启动作业都以本地配置为准.**

#  #

# 为什么不用spring自带的定时器任务功能而选择Elastic-Job: #

**这就需要了解一下Elastic-Job的功能了.**

## 1. 主要功能 ##

**a) 分布式：重写Quartz基于数据库的分布式功能，改用Zookeeper实现注册中心。**

**b) 并行调度：采用任务分片方式实现。将一个任务拆分为n个独立的任务项，由分布式的服务器并行执行各自分配到的分片项。**

**c) 弹性扩容缩容：将任务拆分为n个任务项后，各个服务器分别执行各自分配到的任务项。一旦有新的服务器加入集群，或现有服务器下线，elastic-job将在保留本次任务执行不变的情况下，下次任务开始前触发任务重分片。**

**d) 集中管理：采用基于Zookeeper的注册中心，集中管理和协调分布式作业的状态，分配和监听。外部系统可直接根据Zookeeper的数据管理和监控elastic-job。**

**e) 定制化流程型任务：作业可分为简单和数据流处理两种模式，数据流又分为高吞吐处理模式和顺序性处理模式，其中高吞吐处理模式可以开启足够多的线程快速的处理数据，而顺序性处理模式将每个分片项分配到一个独立线程，用于保证同一分片的顺序性，这点类似于kafka的分区顺序性。**

## 2. 其他功能 ##

**a) 失效转移：弹性扩容缩容在下次作业运行前重分片，但本次作业执行的过程中，下线的服务器所分配的作业将不会重新被分配。失效转移功能可以在本次作业运行中用空闲服务器抓取孤儿作业分片执行。同样失效转移功能也会牺牲部分性能。**

**b) Spring命名空间支持：elastic-job可以不依赖于spring直接运行，但是也提供了自定义的命名空间方便与spring集成。**

**c) 运维平台：提供web控制台用于管理作业。**

## 3. 非功能需求 ##

**a) 稳定性：在服务器无波动的情况下，并不会重新分片；即使服务器有波动，下次分片的结果也会根据服务器IP和作业名称哈希值算出稳定的分片顺序，尽量不做大的变动。**

**b) 高性能：同一服务器的批量数据处理采用自动切割并多线程并行处理。**

**c) 灵活性：所有在功能和性能之间的权衡，都可通过配置开启/关闭。如：elastic-job会将作业运行状态的必要信息更新到注册中心。如果作业执行频度很高，会造成大量Zookeeper写操作，而分布式Zookeeper同步数据可能引起网络风暴。因此为了考虑性能问题，可以牺牲一些功能，而换取性能的提升。**

**d) 幂等性：elastic-job可牺牲部分性能用以保证同一分片项不会同时在两个服务器上运行。**

**e) 容错性：作业服务器和Zookeeper断开连接则立即停止作业运行，用于防止分片已经重新分配，而脑裂的服务器仍在继续执行，导致重复执行。**

# 消息中间件和作业的区别: #

**       消息中间件也可以做到实时处理数据, 两者确有相似之处。可互相替换的场景，如队列表。将待处理的数据放入队列表，然后使用频率极短的定时任务拉取队列表的数据并处理。这种情况使用消息中间件的推送模式可更好的处理实时性数据。而且基于数据库的消息存储吞吐量远远小于基于文件的顺序追加消息存储。**

** **