azkaban安装编译3.86 教程

骑猪看日落 2023-02-12 10:26 16阅读 0赞

> Azkaban is a batch workflow job scheduler created at LinkedIn to run Hadoop jobs. Azkaban resolves the ordering through job dependencies and provides an easy to use web user interface to maintain and track your workflows.

# 特点 #

1.  兼容任何版本的hadoop。（Oozie依赖于hadoop）
2.  有易于使用的web界面
3.  简单的工作流上传
4.  方便设置任务之间的关系
5.  调度工作流
6.  模块化和可插拔的插件机制
7.  认证/授权(权限的工作)。任务提交上去之后，并不是所有人都能查看或修改。
8.  能够杀死并重启工作流
9.  有关失败和成功的电子邮件提醒

# 三大组件 #

1.  azkaban webServer。是整个azkaban工作流系统的主要管理者，包括用户登录认证、负责project管理、定时执行工作流、跟踪工作流执行进度等一系列任务。
2.  azkaban executor server。负责具体的工作流的提交和执行，通过mysql来协调任务的执行。
3.  mysql：存储大部分执行流状态，azkaban WebServer和executorServer都需要访问mysql

# 安装配置 #

1.  下载azkaban：`https://github.com/azkaban/azkaban/releases/tag/3.86.0`下载`azkaban-3.86.0.tar.gz`
2.  将文件解压  
    执行命令：`./gradlew build installDist -x test`。如果无法下载：可以访问 `http://services.gradle.org/distributions/`下载对应的包,把zip压缩包拷贝进入`~/.gradle/wrapper/dists/gradle-4.6-all/bcst21l2brirad8k2ben1letg` ,然后执行gradlew clean即可。
3.  **这一个过程中会下载很多依赖包。文末有gradle依赖，以及编译好的azkaban 3.86版本。直接解压就可以使用**

# Start the solo server #

修改`azkaban-3.86.0/azkaban-solo-server/build/install/azkaban-solo-server/conf/azkaban.properties`文件的时区：  
`default.timezone.id=Asia/Shanghai`  
执行

# 一定要在azkaban更目录运行,它的配置文件默认是相对路径
    cd azkaban-solo-server/build/install/azkaban-solo-server
    bin/start-solo.sh

默认端口是8081，可以在`azkaban.properties`中进行修改  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70]  
用户名和密码都是`azkaban`。

# 创建简单job任务 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 1]  
创建format.job

type=command
    # 必须使用绝对路径，指定脚本位置
    command=sh /home/iie4bu/shell/azkaban/job/format.sh

同时创建`format.sh`：

#!/bin/bash
    
    echo "format job start...."
    
    head /home/iie4bu/data/sales.csv

将`format.job`进行压缩：`zip -r format.zip format.job`  
然后进行上传：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 2]  
执行job  
![在这里插入图片描述][20200526115611905.png]  
点击前面的序号3，进入job，查看joblist  
![在这里插入图片描述][2020052611571331.png]  
查看log：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 3]  
可以看到脚本的输出内容。

# 如何在job中指定shell的相对路径 #

新建clean.sh:

#!/bin/bash
    date >> /home/iie4bu/date.txt

新建clean.job

type=command
    # 相对路径
    command=sh clean.sh

将这两个文件压缩到一起：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 4]  
将clean.zip文件上传至azkaban运行就可以了。

# 处理复杂的shell工作流程 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 5]  
first.job内容：

type=command
    command=echo 'first'

second.job内容：

type=command
    command=echo 'second'
    dependencies=first

third.job内容：

type=command
    command=echo 'third'
    dependencies=first

fourth.job内容：

type=command
    command=echo 'fourth'
    dependencies=second,third

将这四个job压缩成一个zip包：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 6]  
将jobs.zip上传到azkaban：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 7]  
执行这个工作流程：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 8]

# 处理java Job #

新建一个Extract.java：

public class Extract {
        public static void main(String[] args) throws FileNotFoundException {
        // 往文件里写数据
        }
    }

将这个文件进行package。生成`mockdata-1.0-SNAPSHOT-jar-with-dependencies.jar`  
新建java.job：

type=javaprocess
    Xms=1024M
    Xmx=2048M
    java.class=ETL.Extract
    classpath=./mockdata-1.0-SNAPSHOT-jar-with-dependencies.jar

将这两个文件压缩成java.zip:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 9]  
上传至azkaban，然后执行即可。

Java process jobs 是一个方便启动java程序的容器。它等价于从命令行执行一个class的main方法。下面介绍在javaprocess jobs中的可用属性：

<table> 
 <thead> 
  <tr> 
   <th align="center">Property</th> 
   <th align="center">Required?</th> 
   <th align="center">Meaning</th> 
   <th align="center">Example</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">java.class</td> 
   <td align="center">required</td> 
   <td align="center">包含main方法的class</td> 
   <td align="center">com.org.baidu</td> 
  </tr> 
  <tr> 
   <td align="center">classpath</td> 
   <td align="center">可选</td> 
   <td align="center">一个用逗号隔开的JAR文件的列表并且目录要被添加到classpath下。如果没有设置，它将会把working目录下的所有JAR文件都添加到classpath下面</td> 
   <td align="center">common-io.jar,hello.jar</td> 
  </tr> 
  <tr> 
   <td align="center">Xms</td> 
   <td align="center">可选</td> 
   <td align="center">启动JVM时初始化内存池大小。默认64M</td> 
   <td align="center">64M</td> 
  </tr> 
  <tr> 
   <td align="center">Xmx</td> 
   <td align="center">可选</td> 
   <td align="center">内存池最大值。默认为256M</td> 
   <td align="center">1024M</td> 
  </tr> 
  <tr> 
   <td align="center">main.args</td> 
   <td align="center">可选</td> 
   <td align="center">传入到java main方法中的以逗号分隔的参数列表</td> 
   <td align="center">arg1,arg2</td> 
  </tr> 
  <tr> 
   <td align="center">jvm.args</td> 
   <td align="center">可选</td> 
   <td align="center">设置JVM的参数。整个字符串被完整传入作为VM的参数</td> 
   <td align="center">-Dmyprop=test -Dhello=world</td> 
  </tr> 
  <tr> 
   <td align="center">working.dir</td> 
   <td align="center">可选</td> 
   <td align="center">从command jobs继承</td> 
   <td align="center">/home/job</td> 
  </tr> 
  <tr> 
   <td align="center">env.property</td> 
   <td align="center">可选</td> 
   <td align="center">从command jobs继承</td> 
   <td align="center">env.MY_ENV_VARIABLE=testVariable</td> 
  </tr> 
 </tbody> 
</table>

# gradle和azkaban编译结果 #

链接：https://pan.baidu.com/s/1MgJTkIjxGnWf779iyPQS2g  
提取码：n7fp

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200526111441800.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/2020052611231164.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200526115307739.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg==,size_16,color_FFFFFF,t_70
[20200526115611905.png]: https://img-blog.csdnimg.cn/20200526115611905.png
[2020052611571331.png]: https://img-blog.csdnimg.cn/2020052611571331.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/2020052611572867.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200526164220163.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200526164924135.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200526165752664.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20200526170042206.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20200526170127613.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20200526181439521.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg==,size_16,color_FFFFFF,t_70