分布式工作流任务调度系统 Easy Scheduler 1.1.0 预览版发布

谁借莪１个温暖的怀抱￠ 2021-12-07 10:07 279阅读 0赞

# Easy Scheduler Release 1.1.0-Preview #

Easy Scheduler 1.1.0-Preview是1.x系列中的第六个版本。

# 新特性： #

*  \[[EasyScheduler-391][]\] run a process under a specified tenement user
 *  \[[EasyScheduler-288][]\] Feature/qiye\_weixin
 *  \[[EasyScheduler-189][]\] Kerberos等安全支持
 *  \[[EasyScheduler-398][]\] 管理员，有租户（install.sh设置默认租户），可以创建资源、项目和数据源（限制有一个管理员）
 *  \[[EasyScheduler-293][]\] 点击运行流程时候选择的参数，没有地方可查看，也没有保存
 *  \[[EasyScheduler-401][]\] 定时很容易定时每秒一次，定时完成以后可以在页面显示一下下次触发时间
 *  \[[EasyScheduler-493][]\] add datasource kerberos auth and FAQ modify and add resource upload s3

# 增强： #

*  \[[EasyScheduler-227][]\] upgrade spring-boot to 2.1.x and spring to 5.x
 *  \[[EasyScheduler-434][]\] worker节点数量 zk和mysql中不一致
 *  \[[EasyScheduler-435][]\]邮箱格式的验证
 *  \[[EasyScheduler-441][]\] 禁止运行节点加入已完成节点检测
 *  \[[EasyScheduler-400][]\] 首页页面，队列统计不和谐，命令统计无数据
 *  \[[EasyScheduler-395][]\] 对于容错恢复的流程，状态不能为 \*\*正在运行
 *  \[[EasyScheduler-529][]\] optimize poll task from zookeeper
 *  \[[EasyScheduler-242][]\] worker-server节点获取任务性能问题
 *  \[[EasyScheduler-352][]\] worker 分组, 队列消费问题
 *  \[[EasyScheduler-461][]\] 查看数据源参数，需要加密账号密码信息
 *  \[[EasyScheduler-396][]\] Dockerfile优化，并关联Dockerfile和github实现自动打镜像
 *  \[[EasyScheduler-389][]\] service monitor cannot find the change of master/worker
 *  \[[EasyScheduler-511][]\] support recovery process from stop/kill nodes.
 *  \[[EasyScheduler-399][]\] HadoopUtils指定用户操作，而不是 \*\*部署用户

# 修复： #

*  \[[EasyScheduler-394][]\] master&worker部署在同一台机器上时，如果重启master&worker服务，会导致之前调度的任务无法继续调度
 *  \[[EasyScheduler-469][]\] Fix naming errors,monitor page
 *  \[[EasyScheduler-392][]\] Feature request: fix email regex check
 *  \[[EasyScheduler-405][]\] 定时修改/添加页面，开始时间和结束时间不能相同
 *  \[[EasyScheduler-517][]\] 补数 - 子工作流 - 时间参数
 *  \[[EasyScheduler-532][]\] python节点不执行的问题
 *  \[[EasyScheduler-543][]\] optimize datasource connection params safety
 *  \[[EasyScheduler-569][]\] 定时任务无法真正停止
 *  \[[EasyScheduler-463][]\] 邮箱验证不支持非常见后缀邮箱

# 感谢： #

最后但最重要的是，没有以下伙伴的贡献就没有新版本的诞生：

Baoqi, jimmy201602, samz406, petersear, millionfor, hyperknob, fanguanqun, yangqinlong, qq389401879, chgxtony, Stanfan, lfyee, thisnew, hujiang75277381, sunnyingit, lgbo-ustc, ivivi, lzy305, JackIllkid, telltime, lipengbo2018, wuchunfu, telltime

以及微信群里众多的热心伙伴！在此非常感谢！

# Easy Scheduler #

[\[外链图片转存失败(img-lyOczq92-1563269641711)(https://img.shields.io/badge/license-Apache%202-4EB1BA.svg)\]][img-lyOczq92-1563269641711_https_img.shields.io_badge_license-Apache_202-4EB1BA.svg]

> Easy Scheduler for Big Data

**设计特点：** 一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中`开箱即用`。  
其主要目标如下：

*  以DAG图的方式将Task按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态
 *  支持丰富的任务类型：Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub\_Process、Procedure等
 *  支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
 *  支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
 *  支持工作流全局参数及节点自定义参数设置
 *  支持资源文件的在线上传/下载，管理等，支持在线文件创建、编辑
 *  支持任务日志在线查看及滚动、在线下载日志等
 *  实现集群HA，通过Zookeeper实现Master集群和Worker集群去中心化
 *  支持对`Master/Worker` cpu load，memory，cpu在线查看
 *  支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
 *  支持补数
 *  支持多租户
 *  支持国际化
 *  还有更多等待伙伴们探索

### 与同类调度系统的对比 ###

![调度系统对比][aHR0cDovL2dlZWsuYW5hbHlzeXMuY24vc3RhdGljL3VwbG9hZC80Ny8yMDE5LTAzLTAxLzk2MDljYTgyLWNmOGItNGQ5MS04ZGMwLTBlMjgwNTE5NDc0Ny5qcGVn]

\#\#\# 系统部分截图

![aHR0cDovL2dlZWsuYW5hbHlzeXMuY24vc3RhdGljL3VwbG9hZC8yMjEvMjAxOS0wMy0yOS8wYTlkZWE4MC1mYjAyLTRmYTUtYTgxMi02MzNiNjcwMzVmZmMuanBlZw][]

![aHR0cDovL2dlZWsuYW5hbHlzeXMuY24vc3RhdGljL3VwbG9hZC8yMjEvMjAxOS0wNC0wMS84MzY4NmRlZi1hNTRmLTQxNjktOGNhZS03N2IxZjgzMDBjYzEucG5n][]

![aHR0cDovL2dlZWsuYW5hbHlzeXMuY24vc3RhdGljL3VwbG9hZC8yMjEvMjAxOS0wMy0yOS84M2M5MzdjNy0xNzkzLTRkN2EtYWEyOC1iOTg0NjAzMjlmZTAuanBlZw][]

### 文档 ###

\- [后端部署文档][Link 1]

\- [前端部署文档][Link 2]

\- [**使用手册**][Link 3]

\- [**升级文档**][Link 4]

\- [我要体验][Link 5]

更多文档请参考 [easyscheduler中文在线文档][easyscheduler]

[EasyScheduler-391]: https://github.com/analysys/EasyScheduler/issues/391
[EasyScheduler-288]: https://github.com/analysys/EasyScheduler/issues/288
[EasyScheduler-189]: https://github.com/analysys/EasyScheduler/issues/189
[EasyScheduler-398]: https://github.com/analysys/EasyScheduler/issues/398
[EasyScheduler-293]: https://github.com/analysys/EasyScheduler/issues/293
[EasyScheduler-401]: https://github.com/analysys/EasyScheduler/issues/401
[EasyScheduler-493]: https://github.com/analysys/EasyScheduler/pull/493
[EasyScheduler-227]: https://github.com/analysys/EasyScheduler/issues/227
[EasyScheduler-434]: https://github.com/analysys/EasyScheduler/issues/434
[EasyScheduler-435]: https://github.com/analysys/EasyScheduler/issues/435
[EasyScheduler-441]: https://github.com/analysys/EasyScheduler/issues/441
[EasyScheduler-400]: https://github.com/analysys/EasyScheduler/issues/400
[EasyScheduler-395]: https://github.com/analysys/EasyScheduler/issues/395
[EasyScheduler-529]: https://github.com/analysys/EasyScheduler/issues/529
[EasyScheduler-242]: https://github.com/analysys/EasyScheduler/issues/242
[EasyScheduler-352]: https://github.com/analysys/EasyScheduler/issues/352
[EasyScheduler-461]: https://github.com/analysys/EasyScheduler/issues/461
[EasyScheduler-396]: https://github.com/analysys/EasyScheduler/issues/396
[EasyScheduler-389]: https://github.com/analysys/EasyScheduler/issues/389
[EasyScheduler-511]: https://github.com/analysys/EasyScheduler/issues/511
[EasyScheduler-399]: https://github.com/analysys/EasyScheduler/issues/399
[EasyScheduler-394]: https://github.com/analysys/EasyScheduler/issues/394
[EasyScheduler-469]: https://github.com/analysys/EasyScheduler/issues/469
[EasyScheduler-392]: https://github.com/analysys/EasyScheduler/issues/392
[EasyScheduler-405]: https://github.com/analysys/EasyScheduler/issues/405
[EasyScheduler-517]: https://github.com/analysys/EasyScheduler/issues/517
[EasyScheduler-532]: https://github.com/analysys/EasyScheduler/issues/532
[EasyScheduler-543]: https://github.com/analysys/EasyScheduler/issues/543
[EasyScheduler-569]: https://github.com/analysys/EasyScheduler/issues/569
[EasyScheduler-463]: https://github.com/analysys/EasyScheduler/issues/463
[img-lyOczq92-1563269641711_https_img.shields.io_badge_license-Apache_202-4EB1BA.svg]: https://www.apache.org/licenses/LICENSE-2.0.html
[aHR0cDovL2dlZWsuYW5hbHlzeXMuY24vc3RhdGljL3VwbG9hZC80Ny8yMDE5LTAzLTAxLzk2MDljYTgyLWNmOGItNGQ5MS04ZGMwLTBlMjgwNTE5NDc0Ny5qcGVn]: /images/20211207/b5a671f4fe46412bb6e0988f2bc6561e.png
[aHR0cDovL2dlZWsuYW5hbHlzeXMuY24vc3RhdGljL3VwbG9hZC8yMjEvMjAxOS0wMy0yOS8wYTlkZWE4MC1mYjAyLTRmYTUtYTgxMi02MzNiNjcwMzVmZmMuanBlZw]: /images/20211207/0099ed9aa17243df843c9a9ec8ddbdb6.png
[aHR0cDovL2dlZWsuYW5hbHlzeXMuY24vc3RhdGljL3VwbG9hZC8yMjEvMjAxOS0wNC0wMS84MzY4NmRlZi1hNTRmLTQxNjktOGNhZS03N2IxZjgzMDBjYzEucG5n]: /images/20211207/34a2c1cd99e94509a43aafe66ffe0dee.png
[aHR0cDovL2dlZWsuYW5hbHlzeXMuY24vc3RhdGljL3VwbG9hZC8yMjEvMjAxOS0wMy0yOS84M2M5MzdjNy0xNzkzLTRkN2EtYWEyOC1iOTg0NjAzMjlmZTAuanBlZw]: /images/20211207/46d6f0004d944e74a7d0de2d07385446.png
[Link 1]: https://analysys.github.io/easyscheduler_docs_cn/后端部署文档.html
[Link 2]: https://analysys.github.io/easyscheduler_docs_cn/前端部署文档.html
[Link 3]: https://analysys.github.io/easyscheduler_docs_cn/%E7%B3%BB%E7%BB%9F%E4%BD%BF%E7%94%A8%E6%89%8B%E5%86%8C.html?_blank
[Link 4]: https://analysys.github.io/easyscheduler_docs_cn/%E5%8D%87%E7%BA%A7%E6%96%87%E6%A1%A3.html?_blank
[Link 5]: http://52.82.13.76:8888
[easyscheduler]: https://analysys.github.io/easyscheduler_docs_cn/