Azkaban (二) --------- Azkaban 入门

àì夳堔傛蜴生んèń 2024-04-01 12:05 75阅读 0赞

#### 目录 ####

*  一、集群模式安装
 *   *  1. 上传 tar 包
     *  2. 配置 MySQL
     *  3. 配置 Executor Server
     *  4. 配置 Web Server
 *  二、Work Flow 案例实操
 *   *  1. HelloWorld 案例
     *  2. 作业依赖案例
     *  3. 自动失败重试案例
     *  4. 手动失败重试案例

--------------------

## 一、集群模式安装 ##

### 1. 上传 tar 包 ###

**A、上传 tar 包**

将 azkaban-db-3.84.4.tar.gz，azkaban-exec-server-3.84.4.tar.gz，azkaban-webserver-3.84.4.tar.gz 上传到 hadoop102 的/opt/software 路径

[fancy@hadoop102 software]$ ll
    总用量 35572
    -rw-r--r--. 1 fancy fancy 6433 4 月 18 17:24 azkaban-db3.84.4.tar.gz
    -rw-r--r--. 1 fancy fancy 16175002 4 月 18 17:26 azkaban-execserver-3.84.4.tar.gz
    -rw-r--r--. 1 fancy fancy 20239974 4 月 18 17:26 azkaban-webserver-3.84.4.tar.gz

**B、新建 /opt/module/azkaban 目录，并将所有 tar 包解压到这个目录下**

[fancy@hadoop102 software]$ mkdir /opt/module/azkaban

**C、进行解压**

解压 azkaban-db-3.84.4.tar.gz、 azkaban-exec-server-3.84.4.tar.gz 和 azkabanweb-server-3.84.4.tar.gz 到 /opt/module/azkaban 目录下

[fancy@hadoop102 software]$ tar -zxvf azkaban-db-3.84.4.tar.gz -C /opt/module/azkaban/
    [fancy@hadoop102 software]$ tar -zxvf azkaban-exec-server3.84.4.tar.gz -C /opt/module/azkaban/
    [fancy@hadoop102 software]$ tar -zxvf azkaban-web-server3.84.4.tar.gz -C /opt/module/azkaban/

**D、进入到 /opt/module/azkaban 目录，依次修改名称**

[atguigu@hadoop102 azkaban]$ mv azkaban-exec-server-3.84.4/
    azkaban-exec
    [atguigu@hadoop102 azkaban]$ mv azkaban-web-server-3.84.4/
    azkaban-web

### 2. 配置 MySQL ###

**A、正常安装 MySQL**

参考：[Hive (二) --------- Hive 安装][Hive _ --------- Hive]

**B、启动 MySQL**

[fancy@hadoop102 azkaban]$ mysql -uroot -p000000

**C、登陆 MySQL，创建 Azkaban 数据库**

mysql> create database azkaban;

**D、创建 azkaban 用户并赋予权限**

设置密码有效长度 4 位及以上

mysql> set global validate_password_length=4;

设置密码策略最低级别

mysql> set global validate_password_policy=0;

创建 Azkaban 用户，任何主机都可以访问 Azkaban，密码是 000000

mysql> CREATE USER 'azkaban'@'%' IDENTIFIED BY '000000';

赋予 Azkaban 用户增删改查权限

mysql> GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban'@'%' WITH GRANT OPTION;

**E、创建 Azkaban 表，完成后退出 MySQL**

mysql> use azkaban;
    mysql> source /opt/module/azkaban/azkaban-db-3.84.4/create-allsql-3.84.4.sql
    mysql> quit;

**F、更改 MySQL 包大小；防止 Azkaban 连接 MySQL 阻塞**

[fancy@hadoop102 software]$ sudo vim /etc/my.cnf

在\[mysqld\]下面加一行 max\_allowed\_packet=1024M

[mysqld]
    max_allowed_packet=1024M

**G、重启 MySQL**

[fancy@hadoop102 software]$ sudo systemctl restart mysqld

### 3. 配置 Executor Server ###

Azkaban Executor Server 处理工作流和作业的实际执行。

**A、编辑 azkaban.properties**

[fancy@hadoop102 azkaban]$ vim /opt/module/azkaban/azkabanexec/conf/azkaban.properties
    #...
    default.timezone.id=Asia/Shanghai
    #...
    azkaban.webserver.url=http://hadoop102:8081
    executor.port=12321
    #...
    database.type=mysql
    mysql.port=3306
    mysql.host=hadoop102
    mysql.database=azkaban
    mysql.user=azkaban
    mysql.password=000000
    mysql.numconnections=100

**B、同步 azkaban-exec 到所有节点**

[fancy@hadoop102 azkaban]$ xsync /opt/module/azkaban/azkabanexec

**C、必须进入到/opt/module/azkaban/azkaban-exec 路径，分别在三台机器上，启动 executor server**

[fancy@hadoop102 azkaban-exec]$ bin/start-exec.sh
    [fancy@hadoop103 azkaban-exec]$ bin/start-exec.sh
    [fancy@hadoop104 azkaban-exec]$ bin/start-exec.sh

注意：如果在/opt/module/azkaban/azkaban-exec 目录下出现 executor.port 文件，说明启动成功

**D、下面激活 executor，需要**

[fancy@hadoop102 azkaban-exec]$ curl -G "hadoop102:12321/executor?action=activate" && echo
    [fancy@hadoop103 azkaban-exec]$ curl -G "hadoop103:12321/executor?action=activate" && echo
    [fancy@hadoop104 azkaban-exec]$ curl -G "hadoop104:12321/executor?action=activate" && echo

如果三台机器都出现如下提示，则表示激活成功

{
        "status":"success"}

### 4. 配置 Web Server ###

Azkaban Web Server 处理项目管理，身份验证，计划和执行触发。

**A、编辑 azkaban.properties**

[fancy@hadoop102 azkaban]$ vim /opt/module/azkaban/azkabanweb/conf/azkaban.properties
    修改如下属性
    ...
    default.timezone.id=Asia/Shanghai
    ...
    database.type=mysql
    mysql.port=3306
    mysql.host=hadoop102
    mysql.database=azkaban
    mysql.user=azkaban
    mysql.password=000000
    mysql.numconnections=100
    ...
    azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus

说明：  
`#StaticRemainingFlowSize` ：正在排队的任务数；  
`#CpuStatus` ：CPU 占用情况  
`#MinimumFreeMemory` ：内存占用情况。测试环境，必须将 MinimumFreeMemory 删除掉，否则它会认为集群资源不够，不执行。

**B、修改 azkaban-users.xml 文件，添加 fancy 用户**

[fancy@hadoop102 azkaban-web]$ vim /opt/module/azkaban/azkabanweb/conf/azkaban-users.xml

<azkaban-users>
     <user groups="azkaban" password="azkaban" roles="admin"
    username="azkaban"/>
     <user password="metrics" roles="metrics" username="metrics"/>
     <user password="fancy" roles="admin" username="fancy"/>
     <role name="admin" permissions="ADMIN"/>
     <role name="metrics" permissions="METRICS"/>
    </azkaban-users>

**C、必须进入到 hadoop102 的/opt/module/azkaban/azkaban-web 路径，启动 web server**

[fancy@hadoop102 azkaban-web]$ bin/start-web.sh

**D、访问 http://hadoop102:8081,并用 fancy 用户登陆**

## 二、Work Flow 案例实操 ##

### 1. HelloWorld 案例 ###

**A、在 windows 环境，新建 azkaban.project 文件，编辑内容如下**

azkaban-flow-version: 2.0

> 注意：该文件作用，是采用新的 Flow-API 方式解析 flow 文件。

**B、新建 basic.flow 文件，内容如下**

nodes:
     - name: jobA
       type: command
       config:
         command: echo "Hello World"

*  Name：job 名称
 *  Type：job 类型。command 表示你要执行作业的方式为命令
 *  Config：job 配置

**C、将 azkaban.project、basic.flow 文件压缩到一个 zip 文件，文件名称必须是英文**

![在这里插入图片描述][741f2546468149fcbdbcb3bbe5862b40.png]

**D、在 WebServer 新建项目：http://hadoop102:8081/index**

![在这里插入图片描述][5084f08e1c634a4f8e521d409261de74.png]

**E、给项目名称命名和添加项目描述**

![在这里插入图片描述][cc52a5d01e314db6b067f03d456045ec.png]

**F、first.zip 文件上传**

![在这里插入图片描述][d651da22c2254b7ba8c75ae158787a1a.png]

**G、选择上传的文件**

![在这里插入图片描述][9f33a66a9a4d4719bb14349707ed4f5e.png]

**H、执行任务流**

![在这里插入图片描述][95a066919b9040658f734394acedd082.png]  
![在这里插入图片描述][26a49623fd884b9b93768cda549891a9.png]  
![在这里插入图片描述][f4fb028a9a2d494486f88093f18ede11.png]

**I、在日志中，查看运行结果**

![在这里插入图片描述][80f0f2cc022f44e6b4a91b1681307fd6.png]  
![在这里插入图片描述][05710ca2c4d3482ca7573040ba943131.png]

### 2. 作业依赖案例 ###

需求：JobA 和 JobB 执行完了，才能执行 JobC

具体步骤：

**A、修改 basic.flow 为如下内容**

nodes:
     - name: jobC
       type: command
       # jobC 依赖 JobA 和 JobB
       dependsOn:
        - jobA
        - jobB
       config:
         command: echo "I’m JobC"
     - name: jobA
       type: command
       config:
         command: echo "I’m JobA"
     - name: jobB
       type: command
       config:
         command: echo "I’m JobB"

dependsOn：作业依赖

**B、将修改后的 basic.flow 和 azkaban.project 压缩成 second.zip 文件**

![在这里插入图片描述][3b72cc2e8142495485b198e9c98825a8.png]

**C、重复 HelloWorld 后续步骤**

![在这里插入图片描述][b0ab9afcd37e48d582a611c38c884248.png]  
![在这里插入图片描述][e281aedda0224bbbad1419e76cd1dfd9.png]  
![在这里插入图片描述][acef1cd4980f456f866d1701ac51c20e.png]  
![在这里插入图片描述][b206cd1f0c524cb68dffaef999cf3233.png]  
![在这里插入图片描述][8c372647fda242b7a45f8f57640dae51.png]  
![在这里插入图片描述][034271c151054ba0a3be782dedbc4a1f.png]

### 3. 自动失败重试案例 ###

需求：如果执行任务失败，需要重试 3 次，重试的时间间隔 10000ms

具体步骤：

**A、编译配置流**

nodes:
     - name: JobA
       type: command
       config:
         command: sh /not_exists.sh
         retries: 3
         retry.backoff: 10000

参数说明：

*  retries ：重试次数
 *  retry.backoff ：重试的时间间隔

**B、将修改后的 basic.flow 和 azkaban.project 压缩成 four.zip 文件**

![在这里插入图片描述][9e600d5366a54706b0b1ddfe47d74f8f.png]**C、重复 HelloWorld 后续步骤**

![在这里插入图片描述][6e043e09ae1d40afa3af745b446b21c9.png]  
![在这里插入图片描述][c2744a8d96e646dc8dc4c1a45f544498.png]  
![在这里插入图片描述][7357edad9e834db2885b44f48587b563.png]  
**D、执行并观察到一次失败+三次重试**

![在这里插入图片描述][b53fd79794f04dbaba99060808e01189.png]  
**E、也可以点击上图中的 Log，在任务日志中看到，总共执行了 4 次**

![在这里插入图片描述][37891490f73f4a9f917cdafa222dce8e.png]  
**F、也可以在 Flow 全局配置中添加任务失败重试配置，此时重试配置会应用到所有 Job**

案例如下：

config:
     retries: 3
     retry.backoff: 10000
    nodes:
     - name: JobA
       type: command
       config:
         command: sh /not_exists.sh

### 4. 手动失败重试案例 ###

需求：JobA ==> Job (B依赖于 A) ==> JobC ==> JobD ==> JobE ==> JobF。

生产环境，任何 Job 都有可能挂掉，可以根据需求执行想要执行的 Job。

具体步骤：

**A、编译配置流**

nodes:
     - name: JobA
       type: command
       config:
         command: echo "This is JobA."
     
     - name: JobB
       type: command
       dependsOn:
     	- JobA
       config:
         command: echo "This is JobB."
     
     - name: JobC
       type: command
       dependsOn:
        - JobB
       config:
         command: echo "This is JobC."
     
     - name: JobD
       type: command
       dependsOn:
        - JobC
       config:
         command: echo "This is JobD."
     
     - name: JobE
       type: command
       dependsOn:
        - JobD
       config:
         command: echo "This is JobE."
     
     - name: JobF
       type: command
       dependsOn:
        - JobE
       config:
         command: echo "This is JobF."

**B、将修改后的 basic.flow 和 azkaban.project 压缩成 five.zip 文件**

![在这里插入图片描述][d43665182cf748fb85ca171f8284cb8a.png]

**C、重复 HelloWorld 后续步骤**

![在这里插入图片描述][d04267e95f1a493485c8875ab6140d4d.png]  
![在这里插入图片描述][e33d91995763451cad06e5d33b163ee7.png]  
![在这里插入图片描述][b24912bb06724e9da977ebe8d3ca877c.png]  
Enable 和 Disable 下面都分别有如下参数：

*  Parents：该作业的上一个任务
 *  Ancestors：该作业前的所有任务
 *  Children：该作业后的一个任务
 *  Descendents：该作业后的所有任务
 *  Enable All：所有的任务

**D、可以根据需求选择性执行对应的任务**

![在这里插入图片描述][b3a98131d285435d8ed80edc638a31cb.png]

[Hive _ --------- Hive]: https://blog.csdn.net/m0_51111980/article/details/126089540
[741f2546468149fcbdbcb3bbe5862b40.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/2dd6361ee62a4d9297d4757fe31b8ef4.png
[5084f08e1c634a4f8e521d409261de74.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/30ce035c05a14f339f0e5003d4c351d4.png
[cc52a5d01e314db6b067f03d456045ec.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/d9eb97e2501f46c3824b916a398b5378.png
[d651da22c2254b7ba8c75ae158787a1a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/2a2c0adcb7d646fea9aa936fbb9d2e37.png
[9f33a66a9a4d4719bb14349707ed4f5e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/87d3e3b55c7c43efb026675129e5ac60.png
[95a066919b9040658f734394acedd082.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/d86c928b759c48bea46812145d3131b6.png
[26a49623fd884b9b93768cda549891a9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/c2e44b323de3450fbc522570ff43388b.png
[f4fb028a9a2d494486f88093f18ede11.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/1569f41cdb40452fa1daa4abd9b83469.png
[80f0f2cc022f44e6b4a91b1681307fd6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/85d358e7cda04f21936a2438d73e51a3.png
[05710ca2c4d3482ca7573040ba943131.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/382e215f49254c948eaa9af534801645.png
[3b72cc2e8142495485b198e9c98825a8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/7db848c1184b4ebd94aa8ef699aa1f45.png
[b0ab9afcd37e48d582a611c38c884248.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/0545fec648db4dddb923a0f0a889b6f4.png
[e281aedda0224bbbad1419e76cd1dfd9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/07978bfefe354ccb87dc46354e2470e4.png
[acef1cd4980f456f866d1701ac51c20e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/76a7defeb0de49ab922dfe8daeb758d8.png
[b206cd1f0c524cb68dffaef999cf3233.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/3b04d722821e45a983cde7312899c81d.png
[8c372647fda242b7a45f8f57640dae51.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/dbfc524370eb4807ab5f47d903de2594.png
[034271c151054ba0a3be782dedbc4a1f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/4d6167701ae94a94bb792f1450c338b9.png
[9e600d5366a54706b0b1ddfe47d74f8f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/ace649c659e545b1afffd538b64904b6.png
[6e043e09ae1d40afa3af745b446b21c9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/28793230db8e46b4ba0e5f2bfbff39dd.png
[c2744a8d96e646dc8dc4c1a45f544498.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/f70e69dc13964786bc85cb1933e4a88f.png
[7357edad9e834db2885b44f48587b563.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/996adaa2e9bc45ad86f457db6f6a94d3.png
[b53fd79794f04dbaba99060808e01189.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/cf3472559d3f45e38feb727660fe2015.png
[37891490f73f4a9f917cdafa222dce8e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/de5aaef03ae64021bb0b184532d03696.png
[d43665182cf748fb85ca171f8284cb8a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/0c1a8ff8eda44fada024b9d433e4164a.png
[d04267e95f1a493485c8875ab6140d4d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/f3f19b582ed346ef90164b55cfd3edc5.png
[e33d91995763451cad06e5d33b163ee7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/132f3ea068284d95afbbc81df4af281a.png
[b24912bb06724e9da977ebe8d3ca877c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/0bd83a1e34014214a580098d6419b5c5.png
[b3a98131d285435d8ed80edc638a31cb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/9705aafdfc1140a982e1c11884aad5f1.png