【xxl-job】架构设计

灰太狼 2022-05-09 15:14 96阅读 0赞

【引言】

上篇博客将主要的两个分布式定时任务框架xxl-job和elastic-job进行了简单的对比总结。公司项目中用到的xxl-job，所以本篇博客将对xxl-job的架构方面进行简单总结。

【总体介绍】

1.  架构思想
    
    将调度行为抽象形成“调度中心”公共平台，而平台自身并不承担业务逻辑，“调度中心”负责发起调度请求。
    
    将任务抽象成分散的JobHandler，交由“执行器”统一管理，“执行器”负责接收调度请求并执行对应的JobHandler中业务逻辑。
    
    “调度”和“任务”两部分可以相互解耦，提高系统整体稳定性和扩展性；
2.  系统组成
    
    调度中心：负责管理调度信息，按照调度配置发出调度请求，自身不承担业务代码。调度系统与任务解耦，提高了系统可用性和稳定性，同时调度系统性能不再受限于任务模块； 支持可视化、简单且动态的管理调度信息，包括任务新建，更新，删除，GLUE开发和任务报警等，所有上述操作都会实时生效，同时支持监控调度结果以及执行日志，支持执行器Failover。
    
    执行器： 负责接收调度请求并执行任务逻辑。任务模块专注于任务的执行等操作，开发和维护更加简单和高效； 接收“调度中心”的执行请求、终止请求和日志请求等。
3.  架构图
    
    ![在这里插入图片描述][70]
4.  优势
    
    xxl-job弥补了quartz的上述不足之处。quartz调用API的方式操作任务，不人性化；需要持久化业务到底层数据表中，系统侵入性严重；调度逻辑和执行器耦合在同一个项目；quartz底层以“抢占式”获取DB锁并由抢占成功节点负责运行任务，会导致节点负载悬殊非常大；而XXL-JOB通过执行器实现“协同分配式”运行任务，充分发挥集群优势，负载各节点均衡。

【调度模块】

1.  RemoteHttpJobBean
    
    XXL-JOB中“调度模块”和“任务模块”完全解耦，调度模块中的所有调度任务使用同一个QuartzJobBean，即RemoteHttpJobBean。不同的调度任务将各自参数维护在各自扩展表数据中，当触发RemoteHttpJobBean执行时，将会解析不同的任务参数发起远程调用，调用各自的远程执行器服务。
    
    这种调用模型类似RPC调用，RemoteHttpJobBean提供调用代理的功能，而执行器提供远程服务的功能。
2.  集群配置
    
    基于Quartz的集群方案，数据库选用Mysql；集群分布式并发环境中使用QUARTZ定时任务调度，会在各个节点会上报任务，存到数据库中，执行时会从数据库中取出触发器来执行，如果触发器的名称和执行时间相同，则只有一个节点去执行此任务。（quartz.properties配置文件中）

# for cluster
    org.quartz.jobStore.tablePrefix: XXL_JOB_QRTZ_
    org.quartz.jobStore.class: org.quartz.impl.jdbcjobstore.JobStoreTX
    org.quartz.jobStore.isClustered: true
    org.quartz.jobStore.clusterCheckinInterval: 5000

1.  调度线程池
    
    调度采用线程池方式实现，避免单线程因阻塞而引起任务调度延迟。（quartz.properties配置文件中）

org.quartz.threadPool.class: org.quartz.simpl.SimpleThreadPool
    org.quartz.threadPool.threadCount: 50
    org.quartz.threadPool.threadPriority: 5
    org.quartz.threadPool.threadsInheritContextClassLoaderOfInitializingThread: true

1.  并行机制
    
    XXL-JOB调度模块的“调度中心”默认不使用注解@DisallowConcurrentExecution，即默认开启并行机制，因为RemoteHttpJobBean为公共QuartzJobBean，这样在多线程调度的情况下，调度模块被阻塞的几率很低，大大提高了调度系统的承载量。
    
    XXL-JOB的每个调度任务虽然在调度模块是并行调度执行的，但是任务调度传递到任务模块的“执行器”确实串行执行的，同时支持任务终止。
2.  misfire
    
    错过了触发时间，处理规则。
    
    可能原因：服务重启；调度线程被QuartzJobBean阻塞，线程被耗尽；某个任务启用了@DisallowConcurrentExecution，上次调度持续阻塞，下次调度被错过；
    
    Misfire规则：  
    withMisfireHandlingInstructionDoNothing：不触发立即执行，等待下次调度； withMisfireHandlingInstructionIgnoreMisfires：以错过的第一个频率时间立刻开始执行； withMisfireHandlingInstructionFireAndProceed：以当前时间为触发频率立刻触发一次执行；
    
    XXL-JOB默认misfire规则为：withMisfireHandlingInstructionDoNothing
    
    配置阈值，单位毫秒（quartz.properties配置文件中）：

org.quartz.jobStore.misfireThreshold: 60000

1.  任务策略
    
    执行器如若集群部署，调度中心将会感知到在线的所有执行器，如“127.0.0.1:9997, 127.0.0.1:9998, 127.0.0.1:9999”。
    
    当任务"路由策略"选择"故障转移(FAILOVER)"时，当调度中心每次发起调度请求时，会按照顺序对执行器发出心跳检测请求，第一个检测为存活状态的执行器将会被选定并发送调度请求。
    
    "故障转移(FAILOVER)"路由策略下，调度中心首先对第一个地址进行心跳检测，心跳失败因此自动跳过，第二个依然心跳检测失败…… 直至心跳检测第三个地址“127.0.0.1:9999”成功，选定为“目标执行器”；然后对“目标执行器”发送调度请求，调度流程结束，等待执行器回调执行结果。
2.  调度日志
    
    调度中心每次进行任务调度，都会记录一条任务日志，任务日志主要包括以下三部分内容：
    
    1）任务信息：包括“执行器地址”、“JobHandler”和“执行参数”等属性，点击任务ID按钮可查看，根据这些参数，可以精确的定位任务执行的具体机器和任务代码；  
    2）调度信息：包括“调度时间”、“调度结果”和“调度日志”等，根据这些参数，可以了解“调度中心”发起调度请求时具体情况。  
    3）执行信息：包括“执行时间”、“执行结果”和“执行日志”等，根据这些参数，可以了解在“执行器”端任务执行的具体情况；

【任务模块】

1.  Bean模式
    
    原理：每个Bean模式任务都是一个Spring的Bean类实例，它被维护在“执行器”项目的Spring容器中。任务类需要加“@JobHandler(value=“名称”)”注解，因为“执行器”会根据该注解识别Spring容器中的任务。任务类需要继承统一接口“IJobHandler”，任务逻辑在execute方法中开发，因为“执行器”在接收到调度中心的调度请求时，将会调用“IJobHandler”的execute方法，执行任务逻辑。
2.  GLUE模式
    
    原理：每个 “GLUE模式(Java)” 任务的代码，实际上是“一个继承自“IJobHandler”的实现类的类代码”，“执行器”接收到“调度中心”的调度请求时，会通过Groovy类加载器加载此代码，实例化成Java对象，同时注入此代码中声明的Spring服务（请确保Glue代码中的服务和类引用在“执行器”项目中存在），然后调用该对象的execute方法，执行任务逻辑。
3.  执行器
    
    执行器实际上是一个内嵌的Jetty服务器，默认端口9999（配置项：xxl.job.executor.port）。
    
    在项目启动时，执行器会通过“@JobHandler”识别Spring容器中“Bean模式任务”，以注解的value属性为key管理起来。
    
    “执行器”接收到“调度中心”的调度请求时，如果任务类型为“Bean模式”，将会匹配Spring容器中的“Bean模式任务”，然后调用其execute方法，执行任务逻辑。如果任务类型为“GLUE模式”，将会加载GLue代码，实例化Java对象，注入依赖的Spring服务，然后调用execute方法，执行任务逻辑。
4.  任务日志
    
    XXL-JOB会为每次调度请求生成一个单独的日志文件，需要通过 “XxlJobLogger.log” 打印执行日志，“调度中心”查看执行日志时将会加载对应的日志文件。

【总结】

本篇博客主要对xxl-job的总体架构做了简单介绍，重点是调度模块和任务模块，下篇博客从源码入手，结合原理知识，简单整理下代码是如何实现的。

[70]: /images/20220506/ecbb66de6fe64c888c59635ffd45c46c.png