工作流调度引擎——Oozie

落日映苍穹つ 2022-12-02 15:04 196阅读 0赞

# 一、什么是Oozie #

![20200831165117149.jpg][]

Oozie由Cloudera公司贡献给Apache的基于工作流引擎的开源框架，用于Hadoop平台的工作流调度。由Oozie Client和Oozie Server两个组件构成，Oozie Server运行于Java Servlet（Tomcat）容器中的web程序。

## 1、组件特性 ##

1）Oozie不仅实现多个MR工作流调度，也可以将多种异构程序合成一个工作流。使用Oozie时，若前一个任务执行失败，后一个任务就不会被调度。

2）Oozie工作流是一个DAG，当需要执行多个关联MR任务时，只需将MP执行顺序写入workflow.xml，然后由Oozie提交任务，托管此任务流。

3）Oozie通过控制流节点（Control Flow Nodes）和动作节点（Action Nodes）控制流节点负责控制流程的开始和结束，以及执行路径（如：fork、join）。

## 2、Oozie架构 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI1MDYyMjk5_size_16_color_FFFFFF_t_70][]

左侧：Oozie通过Tomcat Http Server对外提供Java API、REST API、CLI（终端）、Web接口（Hue），产生的数据存储在Oozie object database上；

中间：Oozie三层结构Workflow、Coordinator、Bundle Job；

右侧：Oozie的Coordinator Engine监控基于（时间触发器）Time-based triggers和HDFS的（数据触发器）Data-based triggers；每一个Oozie Job都是一个只有Map task的MR程序。

**Workflow****（工作流）：**由需要处理的每个工作组成，定义Job任务的执行，使用Hadoop流程定义语言（Hadoop Process Dfination Lang，hPDL）来描述工作流。作业流由一组行为节点构成，且这些节点通过控制流相连。通过job.properties定义workflow作业的配置信息；workflow.xml定义作业的执行工作流；三方库将依赖的.jar和.so放到lib/目录下。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI1MDYyMjk5_size_16_color_FFFFFF_t_70 1][]

Workflow生命周期包含六种状态：

<table> 
 <tbody> 
 <tr> 
 <td style="border-color:#4472c4;width:91.9pt;"> 状态 </td> 
 <td style="border-color:#4472c4;width:322.9pt;"> 含义说明 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#8eaadb;width:91.9pt;"> PREP </td> 
 <td style="width:322.9pt;"> 一个工作流第一次创建还未运行就处于该状态。 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#8eaadb;vertical-align:top;width:91.9pt;"> RUNNING </td> 
 <td style="vertical-align:top;width:322.9pt;"> 一个已经被创建的工作流开始执行 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#8eaadb;width:91.9pt;"> SUSPENDED </td> 
 <td style="width:322.9pt;"> 一个运行状态的工作流会被挂起，直到重新执行或杀死 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#8eaadb;vertical-align:top;width:91.9pt;"> SUCCEEDED </td> 
 <td style="vertical-align:top;width:322.9pt;"> 一个运行状态的工作流到达end节点，变成该状态 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#8eaadb;width:91.9pt;"> KILLED </td> 
 <td style="width:322.9pt;"> 一个被创建，处于运行，挂起状态的工作流被杀死 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#8eaadb;vertical-align:top;width:91.9pt;"> FAILED </td> 
 <td style="vertical-align:top;width:322.9pt;"> 一个工作流不可预期的错误失败而终止 </td> 
 </tr> 
 </tbody> 
</table>

Workflow生命周期中状态之间的转移如图

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI1MDYyMjk5_size_16_color_FFFFFF_t_70 2][]

Workflow中所有异步操作（action）都需要在Hadoop集群上以MR作业方式进行执行，充分利用集群的优点。Oozie通过两种方式来检查任务是否完成

（1）回调：当一个任务和一个计算被启动后，会为任务提供一个回调url，该任务执行完成后，会执行回调通知Oozie。

（2）轮询：Oozie不停地去查询任务执行的完成状态。如果由于网络故障回调机制失败，也会使用轮询的方式去获取任务的状态。

**Coordinator****（协调器）**：（1）将多个工作流协调成一个工作流来进行处理，多个workflow组成一个coordinator（2）定义workflow定时触发条件，周期性执行workflow。

**Bundle Job****（捆）：**顶层抽象，允许将一组coordinator任务打包成为一个bundle任务，组成bundle的多个coordinator可以作为一个整体进行控制（启动、停止、挂起、继续、重新执行等操作）。

[20200831165117149.jpg]: /images/20221123/db4a7d39746b497d87a3c5c74cca3b1a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI1MDYyMjk5_size_16_color_FFFFFF_t_70]: /images/20221123/bfcd1cd58fea430d86644a8f690c6413.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI1MDYyMjk5_size_16_color_FFFFFF_t_70 1]: /images/20221123/1c9b5cfc95c04440a0e4e57b138b3c6a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI1MDYyMjk5_size_16_color_FFFFFF_t_70 2]: /images/20221123/f83ae3c60ab44c668867c499c99dff0b.png