详解集群内Azkaban安装，步步都附有截图，附带入门案例

阳光穿透心脏的1/2处 2023-10-04 17:18 8阅读 0赞

### Azkaban安装 ###

将Azkaban安装包上传到集群中  
![在这里插入图片描述][d984b675491440548d5c5a34bbe9f1f3.png]

db：azkaban需要依赖mysql，db里就是有关的建表语句

exec：azkaban的exec端

web：azkaban的server端

解压三个tar包到/opt/module/azkaban

tar -zxvf azkaban-web-server-3.84.4.tar.gz -C /opt/module/azkaban/
    tar -zxvf azkaban-exec-server-3.84.4.tar.gz -C /opt/module/azkaban/
    tar -zxvf azkaban-db-3.84.4.tar.gz -C /opt/module/azkaban/

![在这里插入图片描述][6a039553c10e4945904f1b6fb497d296.png]

#### 配置MySQL ####

首先要确定安装好了MySQL

登录MySQL

mysql -uroot -p000000;

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16]

创建azkaban数据库

create database azkaban;

![在这里插入图片描述][caf0fccf0468473f9aab40cacdaa7caf.png]

常见azkaban用户，并赋予权限

create user 'azkaban'@'%' IDENTIFIED BY '000000';

![在这里插入图片描述][7dd8af15f4c047b7b94c30aced6964be.png]

赋予azkaban增删改查权限

GRANT  SELECT,INSERT,UPDATE,DELETE  ON  azkaban.*  to 'azkaban'@'%' WITH GRANT OPTION;

![在这里插入图片描述][7af8d4fc452d48f5ad7e760666b6e5d4.png]

创建azkaban表

>use azkaban;
    >source /opt/module/azkaban/azkaban-db-3.84.4/create-all-sql-3.84.4.sql

![在这里插入图片描述][a0b2e54a50d8491bb9dfbe17a70a2279.png]

更改 MySQL 包大小；防止 Azkaban 连接 MySQL 阻塞

sudo vim /etc/my.cnf

在\[mysqld\]下新增

[mysqld] 
    max_allowed_packet=1024M

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 1]

重启mysql

sudo systemctl restart mysqld

![在这里插入图片描述][f53bc35005694dbd81032f7d1c9f3a5e.png]

#### 配置 Executor Server ####

编辑 azkaban.properties

vim  /opt/module/azkaban/azkaban-exec/conf/azkaban.properties

修改内容

#... default.timezone.id=Asia/Shanghai #... azkaban.webserver.url=http://hadoop102:8081  executor.port=12321 mysql.host=hadoop102 mysql.password=000000

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 2]

同步 azkaban-exec 到所有节点

xsync /opt/module/azkaban/azkaban-exec

启动azkaban-exec

必须进入到/opt/module/azkaban/azkaban-exec 路径， 分别在三台机器上， 启动executor server

然后输入启动命令

bin/start-exec.sh

![在这里插入图片描述][21537431d5f2484f9b8fecc07c08b862.png]

注意：如果在/opt/module/azkaban/azkaban-exec 目录下出现 executor.port 文件，说明启动成功  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 3]

或者是在mysql中出现executors表，也证明启动成功  
![在这里插入图片描述][47ddfd4c326e48ea89ff258199ff9895.png]

激活 executor

curl  -G "hadoop102:12321/executor?action=activate" && echo

![在这里插入图片描述][5bb6680882084bd89532cfba98d236c7.png]

再查看一下mysql中的executors表  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 4]

#### 配置 Web Server ####

编辑 azkaban.properties ，修改属性

default.timezone.id=Asia/Shanghai mysql.host=hadoop102 mysql.password=000000 azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 5]

azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus

说明：

StaticRemainingFlowSize：正在排队的任务数

CpuStatus：CPU 占用情况

MinimumFreeMemory ：内存占用情况 。 测试环境， 必须MinimumFreeMemory 删除掉， 否则它会认为集群资源不够，不执行

原来的设置：  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 6]

修改后的设置：  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 7]

修改 azkaban-users.xml 文件，添加 lnnu 用户

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 8]

启动 web server

注意：

必须进入到 hadoop102 的/opt/module/azkaban/azkaban-web 路径

bin/start-web.sh

![在这里插入图片描述][c90c4d2b182a4a36bf2c672efb9fd4f2.png]

验证

浏览器访问网址http://hadoop102:8081  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 9]

出现以上页面就是成功

使用在azkaban-user.xml文件中配置的用户登录  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 10]

#### Hello World案例 ####

azkaban的使用需要两个文件：basic.flow 文件和azkaban.project 文件

azkaban.project文件就是版本配置说明

basic.flow文件就是要编写的调度

azkaban.project文件内容

azkaban-flow-version: 2.0

![在这里插入图片描述][1a9358da71484a9d826bce68fc34d451.png]

basic.flow文件

azkaban的basic.flow文件采用的编写规范是yaml

编写内容

nodes:   - name: jobA     type: command     config:       command: echo "Hello World"

Name：job 名称 ，名称jobA

Type：job 类型。command 表示你要执行作业的方式为命令

Config：job 配置 ，一个命令，输出Hello World  
![在这里插入图片描述][ba06aa80fd464b3a898d3ef174cbf157.png]

然后将两个文件压缩到一个.zip文件里  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_17_color_FFFFFF_t_70_g_se_x_16]

执行azkaban调度任务

到web页面，点击右上角create project  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 11]

上传压缩的zip包  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 12]

在上传的时候，会自动校验，上传成功说明文件没有问题  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 13]

点击execute flow执行任务  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 14]

就会看到了工作流程图  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 15]

schedule按钮就是配置定时规则，比如要在何时进行执行  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 16]

右下角的execute就是直接执行  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 17]

还可以点击Job List查看任务的执行日志  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 18]

点击log可以看到执行的具体情况，以及输出的Hello World  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 19]

[d984b675491440548d5c5a34bbe9f1f3.png]: https://img-blog.csdnimg.cn/d984b675491440548d5c5a34bbe9f1f3.png
[6a039553c10e4945904f1b6fb497d296.png]: https://img-blog.csdnimg.cn/6a039553c10e4945904f1b6fb497d296.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/045dc4db5b88495ea5b355907fb34dd7.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[caf0fccf0468473f9aab40cacdaa7caf.png]: https://img-blog.csdnimg.cn/caf0fccf0468473f9aab40cacdaa7caf.png
[7dd8af15f4c047b7b94c30aced6964be.png]: https://img-blog.csdnimg.cn/7dd8af15f4c047b7b94c30aced6964be.png
[7af8d4fc452d48f5ad7e760666b6e5d4.png]: https://img-blog.csdnimg.cn/7af8d4fc452d48f5ad7e760666b6e5d4.png
[a0b2e54a50d8491bb9dfbe17a70a2279.png]: https://img-blog.csdnimg.cn/a0b2e54a50d8491bb9dfbe17a70a2279.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/9af39c5c5e1f4b758ac87f7cbebcf728.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[f53bc35005694dbd81032f7d1c9f3a5e.png]: https://img-blog.csdnimg.cn/f53bc35005694dbd81032f7d1c9f3a5e.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 2]: https://img-blog.csdnimg.cn/5143783da0a44a78b909f4c96fb939ec.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[21537431d5f2484f9b8fecc07c08b862.png]: https://img-blog.csdnimg.cn/21537431d5f2484f9b8fecc07c08b862.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 3]: https://img-blog.csdnimg.cn/cc6967b5826c4118ad11d93691b4d894.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[47ddfd4c326e48ea89ff258199ff9895.png]: https://img-blog.csdnimg.cn/47ddfd4c326e48ea89ff258199ff9895.png
[5bb6680882084bd89532cfba98d236c7.png]: https://img-blog.csdnimg.cn/5bb6680882084bd89532cfba98d236c7.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 4]: https://img-blog.csdnimg.cn/265eb105449c457cb0a5d1f1cfae7a7d.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 5]: https://img-blog.csdnimg.cn/1583e9a9f0a24c1a96bcb89574b8e8e0.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 6]: https://img-blog.csdnimg.cn/c018900f9bb24895b8758c7f77d936c7.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 7]: https://img-blog.csdnimg.cn/fb6f2d9b80ea4ed6bc03aea3e6b4ddb0.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 8]: https://img-blog.csdnimg.cn/09f1dd825e694a7eb393a3647c53c9cf.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[c90c4d2b182a4a36bf2c672efb9fd4f2.png]: https://img-blog.csdnimg.cn/c90c4d2b182a4a36bf2c672efb9fd4f2.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 9]: https://img-blog.csdnimg.cn/9025eb6e7736488988781c2a96f9efd6.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 10]: https://img-blog.csdnimg.cn/0cb5364df2344a03bf2f3cec642fba51.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[1a9358da71484a9d826bce68fc34d451.png]: https://img-blog.csdnimg.cn/1a9358da71484a9d826bce68fc34d451.png
[ba06aa80fd464b3a898d3ef174cbf157.png]: https://img-blog.csdnimg.cn/ba06aa80fd464b3a898d3ef174cbf157.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_17_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/4602119c650643fb8e88146f2f1b88a9.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_17,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 11]: https://img-blog.csdnimg.cn/30e7cfa925454a65a914ad27ee9a109c.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 12]: https://img-blog.csdnimg.cn/45e4f375268c4d53a74dc2fcbebb976c.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 13]: https://img-blog.csdnimg.cn/9b7deeab39f3483dad528bb4534a9c3d.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 14]: https://img-blog.csdnimg.cn/928fcb6cabf849e2af01b6455c856cc5.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 15]: https://img-blog.csdnimg.cn/bd88a789d3d446db867d482023b70c47.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 16]: https://img-blog.csdnimg.cn/6c155be56e094994b3818ffc71e06e58.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 17]: https://img-blog.csdnimg.cn/11b5a38b856f48a58ba12b75b25646e2.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 18]: https://img-blog.csdnimg.cn/2644c22a3ac14fa3bfc6de50805f9a34.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 19]: https://img-blog.csdnimg.cn/17bc4317dcb1485aa2da3513b1244268.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16