新一代大数据任务调度系统 - Apache DolphinScheduler 1.3.4 发布，推荐下载

我会带着你远行 2023-01-03 01:58 128阅读 0赞

| 本文编辑：朱桐

新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在经过社区 30 多位小伙伴的贡献与努力下于发布了 1.3.4 版本，1.3.4 作为 1.3.x 的 bug 修复版本，本次共修复了 1.3.3 发现的 10 多处 bug，其中多数 bug 是测试伙伴在极端环境下发现的。1.3.4 重要的修复需要关注下面这个：

**1 ****个重要修复**

**现象：**

任务实例(taskInstance) 状态更改错误：\[\#4084\]\[server\] fix taskInstance state change error

taskInstance 状态从 7 变为 1，用户观察到状态从“ SUCCESS”变为“ RUNNING”。主节点仍然循环检查 taskInstance状态，等待 taskInstance 状态完成。

**原因：**

master 向 worker 发送 task：  
1. worker 接收到 task 后，会回复给 master一个“ack”，然后去执行task，执行结束之后给 master 发送任务执行结果 result。

2. master 接收到 ack 后将 taskInstance 的状态更新成 1，接收到任务结果 result 后将状态更新成 7。（假设 task 的状态是成功）

正常情况：  
ack 和 result 根据 worker 执行的顺序，ack 会先发送到 master，task 状态从 0 -> 1, result 后发送到 master ，task状态从 1 -> 7。

异常情况：  
在 ack 的 response 处理的时候出现阻塞，或者是在 netty 消息传输或消费的时候延迟，造成 result 更新数据库的时间早于 ack，导致状态变化 0 -> 7 -> 1. 而实际 worker 已经执行过 task 了，所以 master 就会阻塞住，一直循环查看当前节点的状态。

**解决：https://github.com/apache/incubator-dolphinscheduler/pull/4097**

**其他**** BUG FIX ****请参考下列内容：**

\[ \#2917 \#4034 \#4104 \#4135 \] \[sqoop\] sqoop优化和错误修复  
\[  \#3177 \] 任务时间参数解析错误  
\[  \#3457 \] \[flink\] 修复flink args构建问题  
\[  \#4034 \] \[server\] 修复sqoop导入失败  
\[  \#3900 \] \[server\] 在一项工作中杀死多个yarn应用  
\[  \#4054 \] \[api\] 修复本月的最后一周，添加/编辑时间，预览和保存时间将报告错误  
\[  \#4054 \] \[ui \] 修复每月的最后一个星期日  
\[  \#4084 \] \[server\] 修复taskInstance状态更改错误  
\[  \#4104 \] 修复sqoop任务jdbc字符串包含特殊字符  
\[  \#4135 \] \[worker\] 修复sqoop导入配置单元错误  
\[  \#4114 \] \[server\] 修复清除任务的执行路径与master相关。  
\[  \#4084 \] \[master\] 修复taskInstance状态更改错误  
\[  \#4090 \] dao在工作流中执行单个任务时抛出NullPointerException  
\[  \#4190 \] \[dao\] 当json数据量很大时，进程列表页面显示缓慢。  
\[  \#4218 \] \[bug\] 从具有NODE\_PRE的设置节点开始将为NPE  
\[  \#4223 \] \[ui\] 修复dag节点名称验证

**除了**** Bug ****修复外，本次也做了几处功能改进，参考以下内容：**

\[\#2925\]\[server\] init TaskLogger in TaskExecuteProcessor  
\[ambari-update\] 将 DS 版本从 1.3.3 更改为 1.3.4  
\[sqoop-update\] 修改 sqoop task 参数  
\[\#4143\]\[quartz-update\] 升级 quartz 版本到 2.3.0

1.3.4 版本经过测试伙伴的大量测试，修复了不少极端情况下可能出现问题的情况，十分推荐大家下载部署 1.3.4 版本

此外，1.3.4 具体变化请参考：https://github.com/apache/incubator-dolphinscheduler/releases/tag/1.3.4

**1.3.4 ****下载地址**：https://dolphinscheduler.apache.org/zh-cn/docs/release/download.html

**DolphinScheduler 介绍**

Apache DolphinScheduler(incubator) 于 17 年在易观数科立项， 19 年 3 月开源，

新一代大数据任务调度 -  Apache DolphinScheduler 继 11 月 19 日由 InfoQ 举办、在 300+ 参评项目中脱颖而出获得 “2020 年度十大开源新锐项目” 和 “2020 年度最具人气新锐项目” 以来，近期社区又荣获 OSCHINA 年度 “最佳技术团队” 称号，非常欢迎更多小伙伴加入到贡献队伍中来，为中国的开源崛起贡献自己的一份力量。

![format_png][]

Apache DolphinScheduler(incubator) 于 17 年在易观数科立项， 19 年 3 月开源，8 月进入 Apache 孵化器， 据不完全统计，已有 400+ 公司在生产上使用。DolphinScheduler 致力于“解决大数据任务之间错综复杂的依赖关系，使整个数据处理流程直观可见”。DolphinScheduler以 DAG(有向无环图) 的方式将 Task 组装起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。DolphinScheduler 专注于以下 6 个主要能力

![format_png 1][]

Apache 组织崇尚 “社区大于代码”，DolphinScheduler 目前微信用户群近 4000 人，社区目前有  190 + 贡献者，来自 80+ 家公司、机构和高校(部分统计)

![format_png 2][]

![format_png 3][]

**部分用户案例**

据不完全统计，目前已经有 400 + 家公司及机构采用 DolphinScheduler 在生产环境使用，以下是部分案例(排名不分先后)

![format_png 4][]

此外，还有 1700+ 用户注册了 demo 试用，欢迎大家先体验，十分欢迎对比哈。

**参与贡献**

随着国内开源的崛起，DolphinScheduler迎来了蓬勃发展，为了做更好用的调度，真诚欢迎热爱开源的伙伴加入到开源社区中来，为中国开源崛起献上一份自己的力量，青春在开源上留下一点印记

参与 DolphinScheduler 社区有非常多的参与贡献的方式，包括：

![format_png 5][]

贡献第一个PR(文档、代码) 我们也希望是简单的，第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度

社区汇总了以下适合新手的问题列表：https://github.com/apache/incubator-dolphinscheduler/issues/4124

如何参与贡献链接：https://dolphinscheduler.apache.org/zh-cn/docs/development/contribute.html

文档 github 地址：https://github.com/apache/incubator-dolphinscheduler-website

来吧，DolphinScheduler开源社区需要您的参与，为中国开源崛起添砖加瓦吧，哪怕只是小小的一块瓦，汇聚起来的力量也是巨大的

如果您想参与贡献，却发现上述方法都搞不明白，也没关系，我们有个开发者种子孵化群，可以添加微信(dailidong66) 手把手教会您，添加时请说明想参与贡献哈

DolphinScheduler开源社区非常期待您的参与。

DolphinScheduler's Github Repo 传送门

↓↓↓

https://github.com/apache/incubator-dolphinscheduler

喜欢❤️ DolphinScheduler 的话，别忘了 Star 收藏一下哟～

[format_png]: /images/20221119/557969eb887a4b97873e472ab3abc70e.png
[format_png 1]: /images/20221119/c627f083a9e744c3b9c0062cad4b6c49.png
[format_png 2]: /images/20221119/1f525324cf4842c1bbea1efe9d4ca1bc.png
[format_png 3]: /images/20221119/1c684ec158bf40dc9645a66305dc6b9a.png
[format_png 4]: /images/20221119/f569697c7f1847f09df946c3d85e0f4f.png
[format_png 5]: /images/20221119/10ddb09b9f8943a2a24a525914054203.png