大数据技术之DolphinScheduler

╰半橙微兮° 2023-09-30 09:31 48阅读 0赞

#### 文章目录 ####

*  大数据技术之DolphinScheduler
 *   *  第1章 DolphinScheduler简介
     *   *  1.1 DolphinScheduler概述
         *  1.2 DolphinScheduler核心架构
     *  第2章 DolphinScheduler部署说明
     *   *  2.1 软硬件环境要求
         *   *  2.1.1 操作系统版本要求
             *  2.1.2 服务器硬件要求
         *  2.2 部署模
         *   *  2.2.1 单机模式
             *  2.2.2 伪集群模式
         *  2.2.3 集群模式
     *  第3章 DolphinScheduler集群模式部署
     *   *  3.1 集群规划
         *  3.2 前置准备工作
         *  3.3 解压DolphinScheduler安装包
         *  3.4 初始化数据库
         *  3.5 配置一键部署脚本
         *  3.6 一键部署DolphinScheduler
         *  3.7 DolphinScheduler启停命令
     *  第4章 DolphinScheduler入门
     *   *  4.1 安全中心配置
         *   *  4.1.1 队列管理
             *  4.1.2 租户管理
             *  4.1.3 用户管理
             *  4.1.4 告警组管理
             *  4.1.5 Worker分组管理
             *  4.16 令牌管理
         *  4.2 项目管理
         *   *  4.2.1 切换用户
             *  4.2.2 创建项目
             *  4.2.3 查看项目
         *  4.3 工作流基础配置
         *   *  4.3.1 工作流定义
             *  4.3.2 提交执行工作流
             *  4.3.3 查看工作流实例
         *  4.3.4 查看任务实例
     *  第5章 DolphinScheduler进阶
     *   *  5.1 工作流传参
         *   *  5.1.1 局部参数
             *  5.1.2 全局参数
             *  5.1.3 系统内置参数
         *  5.2 引用依赖资源
         *  5.3 告警通知
         *   *  5.3.1 准备电子邮箱账户
             *  5.3.2 配置AlertServer
             *  5.3.3 测试
         *  5.4 工作流失败重跑

--------------------

## 大数据技术之DolphinScheduler ##

### 第1章 DolphinScheduler简介 ###

#### 1.1 DolphinScheduler概述 ####

Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

#### 1.2 DolphinScheduler核心架构 ####

DolphinScheduler的主要角色如下：

*  **MasterServer**采用分布式无中心设计理念，MasterServer主要负责 DAG 任务切分、任务提交、任务监控，并同时监听其它MasterServer和WorkerServer的健康状态。
 *  **WorkerServer**也采用分布式无中心设计理念，WorkerServer主要负责任务的执行和提供日志服务。
 *  **ZooKeeper**服务，系统中的MasterServer和WorkerServer节点都通过ZooKeeper来进行集群管理和容错。
 *  **Alert**服务，提供告警相关服务。
 *  **API**接口层，主要负责处理前端UI层的请求。
 *  **UI**，系统的前端页面，提供系统的各种可视化操作界面。

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16]

### 第2章 DolphinScheduler部署说明 ###

#### 2.1 软硬件环境要求 ####

##### 2.1.1 操作系统版本要求 #####

<table> 
 <thead> 
  <tr> 
   <th><strong>操作系统</strong></th> 
   <th><strong>版本</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><strong>Red Hat Enterprise Linux</strong></td> 
   <td>7.0 及以上</td> 
  </tr> 
  <tr> 
   <td><strong>CentOS</strong></td> 
   <td>7.0 及以上</td> 
  </tr> 
  <tr> 
   <td><strong>Oracle Enterprise Linux</strong></td> 
   <td>7.0 及以上</td> 
  </tr> 
  <tr> 
   <td><strong>Ubuntu LTS</strong></td> 
   <td>16.04 及以上</td> 
  </tr> 
 </tbody> 
</table>

##### 2.1.2 服务器硬件要求 #####

#### 2.2 部署模 ####

DolphinScheduler支持多种部署模式，包括单机模式（Standalone）、伪集群模式（Pseudo-Cluster）、集群模式（Cluster）等。

##### 2.2.1 单机模式 #####

单机模式（standalone）模式下，所有服务均集中于一个StandaloneServer进程中，并且其中内置了注册中心Zookeeper和数据库H2。只需配置JDK环境，就可一键启动DolphinScheduler，快速体验其功能。

##### 2.2.2 伪集群模式 #####

伪集群模式（Pseudo-Cluster）是在单台机器部署 DolphinScheduler 各项服务，该模式下master、worker、api server、logger server等服务都只在同一台机器上。Zookeeper和数据库需单独安装并进行相应配置。

#### 2.2.3 集群模式 ####

集群模式（Cluster）与伪集群模式的区别就是在多台机器部署 DolphinScheduler各项服务，并且可以配置多个Master及多个Worker。

### 第3章 DolphinScheduler集群模式部署 ###

#### 3.1 集群规划 ####

集群模式下，可配置多个Master及多个Worker。通常可配置2~3个Master，若干个Worker。由于集群资源有限，此处配置一个Master，三个Worker，集群规划如下。

<table> 
 <thead> 
  <tr> 
   <th>hadoop102</th> 
   <th>master、worker</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>hadoop103</td> 
   <td>worker</td> 
  </tr> 
  <tr> 
   <td>hadoop104</td> 
   <td>worker</td> 
  </tr> 
 </tbody> 
</table>

#### 3.2 前置准备工作 ####

1.  三台节点均需部署JDK（1.8+），并配置相关环境变量。
2.  需部署数据库，支持MySQL（5.7+）或者PostgreSQL（8.2.15+）。
3.  需部署Zookeeper（3.4.6+）。
4.  三台节点均需安装进程管理工具包psmisc。

`[liumingze@hadoop102 ~]$ sudo yum install -y psmisc`

`[liumingze@hadoop103 ~]$ sudo yum install -y psmisc`

`[liumingze@hadoop104 ~]$ sudo yum install -y psmisc`

#### 3.3 解压DolphinScheduler安装包 ####

**1）上传DolphinScheduler安装包到hadoop102节点的/opt/software目录**

**2）解压安装包到当前目录**

`[liumingze@hadoop102 software]$ tar -zxvf apache-dolphinscheduler-1.3.9-bin.tar.gz`

#### 3.4 初始化数据库 ####

DolphinScheduler 元数据存储在关系型数据库中，故需创建相应的数据库和用户。

**1）创建数据库**

`mysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;`

**2）创建用户**

`mysql> CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';`

**注：**

若出现以下错误信息，表明新建用户的密码过于简单。

`ERROR 1819 (HY000): Your password does not satisfy the current policy requirements`

可提高密码复杂度或者执行以下命令降低MySQL密码强度级别。

`mysql> set global validate_password_length=4;`

`mysql> set global validate_password_policy=0;`

**3）赋予用户相应权限**

`mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';`

`mysql> flush privileges;`

**4）修改数据源配置文件**

进入DolphinScheduler解压目录

`[liumingze@hadoop102 apache-dolphinscheduler-1.3.9-bin]$ cd /opt/software/apache-dolphinscheduler-1.3.9-bin/`

修改conf目录下的datasource.properties文件

`[liumingze@hadoop102 apache-dolphinscheduler-1.3.9-bin]$ vim conf/datasource.properties`

修改内容如下

spring.datasource.driver-class-name=com.mysql.jdbc.Driver
    spring.datasource.url=jdbc:mysql://hadoop102:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8
    spring.datasource.username=dolphinscheduler
    spring.datasource.password=dolphinscheduler

**5）拷贝MySQL驱动到DolphinScheduler的解压目录下的lib中**

`[liumingze@hadoop102 apache-dolphinscheduler-1.3.9-bin]$ cp /opt/software/mysql-connector-java-5.1.27-bin.jar lib/`

**6）执行数据库初始化脚本**

数据库初始化脚本位于DolphinScheduler解压目录下的script目录中，即/opt/software/ds/apache-dolphinscheduler-1.3.9-bin/script/。

`[liumingze@hadoop102 apache-dolphinscheduler-1.3.9-bin]$ script/create-dolphinscheduler.sh`

#### 3.5 配置一键部署脚本 ####

修改解压目录下的conf/config目录下的install\_config.conf文件

`[liumingze@hadoop102 apache-dolphinscheduler-1.3.9-bin]$ vim conf/config/install_config.conf`

修改内容如下

# postgresql or mysql
    dbtype="mysql"
    
    # db config
    # db address and port
    dbhost="hadoop102:3306"
    
    # db username
    username="dolphinscheduler"
    
    # database name
    dbname="dolphinscheduler"
    
    # db passwprd
    # NOTICE: if there are special characters, please use the \ to escape, for example, `[` escape to `\[`
    password="dolphinscheduler"
    
    # zk cluster
    zkQuorum="hadoop102:2181,hadoop103:2181,hadoop104:2181"
    
    # Note: the target installation path for dolphinscheduler, please not config as the same as the current path (pwd)
    installPath="/opt/module/dolphinscheduler"
    
    # deployment user
    # Note: the deployment user needs to have sudo privileges and permissions to operate hdfs. If hdfs is enabled, the root directory needs to be created by itself
    deployUser="atguigu"
    
    # resource storage type: HDFS, S3, NONE
    resourceStorageType="HDFS"
    
    # resource store on HDFS/S3 path, resource file will store to this hadoop hdfs path, self configuration, please make sure the directory exists on hdfs and have read write permissions. "/dolphinscheduler" is recommended
    resourceUploadPath="/dolphinscheduler"
    
    # if resourceStorageType is HDFS，defaultFS write namenode address，HA you need to put core-site.xml and hdfs-site.xml in the conf directory.
    # if S3，write S3 address，HA，for example ：s3a://dolphinscheduler，
    # Note，s3 be sure to create the root directory /dolphinscheduler
    defaultFS="hdfs://hadoop102:8020"
    
    # resourcemanager port, the default value is 8088 if not specified
    resourceManagerHttpAddressPort="8088"
    
    # if resourcemanager HA is enabled, please set the HA IPs; if resourcemanager is single, keep this value empty
    yarnHaIps=
    
    # if resourcemanager HA is enabled or not use resourcemanager, please keep the default value; If resourcemanager is single, you only need to replace ds1 to actual resourcemanager hostname
    singleYarnIp="hadoop103"
    
    # who have permissions to create directory under HDFS/S3 root path
    # Note: if kerberos is enabled, please config hdfsRootUser=
    hdfsRootUser="atguigu"
    
    # api server port
    apiServerPort="12345"
    
    
    # install hosts
    # Note: install the scheduled hostname list. If it is pseudo-distributed, just write a pseudo-distributed hostname
    ips="hadoop102,hadoop103,hadoop104"
    
    # ssh port, default 22
    # Note: if ssh port is not default, modify here
    sshPort="22"
    
    # run master machine
    # Note: list of hosts hostname for deploying master
    masters="hadoop102"
    
    # run worker machine
    # note: need to write the worker group name of each worker, the default value is "default"
    workers="hadoop102:default,hadoop103:default,hadoop104:default"
    
    # run alert machine
    # note: list of machine hostnames for deploying alert server
    alertServer="hadoop102"
    
    # run api machine
    # note: list of machine hostnames for deploying api server
    apiServers="hadoop102"

#### 3.6 一键部署DolphinScheduler ####

**1）启动Zookeeper集群**

`[liumingze@hadoop102 apache-dolphinscheduler-1.3.9-bin]$ zk.sh start`

**2）一键部署并启动DolphinScheduler**

`[liumingze@hadoop102 apache-dolphinscheduler-1.3.9-bin]$ ./install.sh`

**3）查看DolphinScheduler进程**

--------- hadoop102 ----------
    29139 ApiApplicationServer
    28963 WorkerServer
    3332 QuorumPeerMain
    2100 DataNode
    28902 MasterServer
    29081 AlertServer
    1978 NameNode
    29018 LoggerServer
    2493 NodeManager
    29551 Jps
    --------- hadoop103 ----------
    29568 Jps
    29315 WorkerServer
    2149 NodeManager
    1977 ResourceManager
    2969 QuorumPeerMain
    29372 LoggerServer
    1903 DataNode
    --------- hadoop104 ----------
    1905 SecondaryNameNode
    27074 WorkerServer
    2050 NodeManager
    2630 QuorumPeerMain
    1817 DataNode
    27354 Jps
    27133 LoggerServer

**4）访问DolphinScheduler UI**

DolphinScheduler UI地址为http://hadoop102:12345/dolphinscheduler

初始用户的用户名为：admin，密码为dolphinscheduler123

#### 3.7 DolphinScheduler启停命令 ####

DolphinScheduler的启停脚本均位于其安装目录的bin目录下。

**1）一键启停所有服务**

./bin/start-all.sh
    ./bin/stop-all.sh

注意同Hadoop的启停脚本进行区分。

**2）启停 Master**

./bin/dolphinscheduler-daemon.sh start master-server
    ./bin/dolphinscheduler-daemon.sh stop master-server

**3）启停 Worker**

./bin/dolphinscheduler-daemon.sh start worker-server
    ./bin/dolphinscheduler-daemon.sh stop worker-server

**4）启停 Api**

./bin/dolphinscheduler-daemon.sh start api-server
    ./bin/dolphinscheduler-daemon.sh stop api-server

**5）启停 Logger**

./bin/dolphinscheduler-daemon.sh start logger-server
    ./bin/dolphinscheduler-daemon.sh stop logger-server

**6）启停 Alert**

./bin/dolphinscheduler-daemon.sh start alert-server
    ./bin/dolphinscheduler-daemon.sh stop alert-server

### 第4章 DolphinScheduler入门 ###

#### 4.1 安全中心配置 ####

安全中心主要有租户管理、用户管理、告警组管理、Worker分组管理、队列管理、令牌管理等功能。安全中心只有管理员账户才有操作权限。

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 1]

##### 4.1.1 队列管理 #####

此处的队列对应的是Yarn调度器的资源队列。故队列概念只对跑在Yarn上的任务类型有效。此处创建出的队列，可供后续任务进行选择。需要注意的是，在DolphinScheduler中创建队列，并不会影响到Yarn调度器的队列配置。

此处可不创建队列。

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 2]

##### 4.1.2 租户管理 #####

租户对应的是Linux系统用户，是Worker执行任务使用的用户。如果Worker所在节点没有这个用户，Worker会在执行任务时创建这个用户。

此处创建一个liumingze租户，如下图。  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 3]

> 注：
> 
> 租户编码：对应Worker执行任务所使用的用户名。
> 
> 租户名称：用于在DolphinScheduler中显示。
> 
> 队列：该租户提交Yarn任务时的默认队列。

##### 4.1.3 用户管理 #####

用户对应的是DolphinScheduler的用户，用于登录DolphinScheduler。用户分管理员用户和普通用户。默认情况下，管理员只有授权和用户管理等权限，而普通用户只有创建项目，定义工作流、执行工作流等权限。

此处创建一个普通用户liumingze，如下图。

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 4]

> 注：
> 
> 用户名：DolphinScheduler登录账户
> 
> 租户：该用户关联的租户
> 
> 队列：默认为租户所关联的队列。
> 
> 邮件、手机号：主要用于告警通知。

##### 4.1.4 告警组管理 #####

告警组可包含多名用户，用于指定告警发送对象。

1）创建告警组  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 5]

2）增加用户  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 6]

##### 4.1.5 Worker分组管理 #####

在任务执行时，可以将任务分配给指定Worker组，最终由该组中的Worker节点执行该任务。默认情况下，所有Worker均位于default组。

此处可不做配置。  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 7]

##### 4.16 令牌管理 #####

令牌用于通过接口访问DolphinScheduler各项服务时的用户验证。普通用户通过UI页面访问各项服务时，无需使用令牌。若需将DolphinScheduler与第三方服务进行集成，则需调用其接口，此时需使用令牌。

#### 4.2 项目管理 ####

##### 4.2.1 切换用户 #####

默认不使用管理员用户操作项目和工作流等，故需先切换到普通用户liumingze。

**1）admin用户退出**

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 8]

**2）使用liumingze用户登录**

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-c7c2sEnj-1647411694152)(file:///C:\\Users\\LIUMIN~1\\AppData\\Local\\Temp\\ksohtml\\wps6BF.tmp.jpg)\]][img-c7c2sEnj-1647411694152_file_C_Users_LIUMIN_1_AppData_Local_Temp_ksohtml_wps6BF.tmp.jpg]

##### 4.2.2 创建项目 #####

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 9]

##### 4.2.3 查看项目 #####

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 10]

#### 4.3 工作流基础配置 ####

下图为工作流配置页面，共包含三个模快，分别为工作流定义、工作流实例和任务实例。

工作流定义：用于定义工作流，包括工作流各节点任务详情及各节点依赖关系等。

工作流实例：工作流每执行一次就会生成一个工作流示例。此处可查看正在运行的工作流以及已经完成的工作流。

任务实例：工作流中的一个节点任务，每执行一次就会生成一个任务实例。此处可用于查看正在执行的节点任务以及已经完成的节点任务。

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 11]

##### 4.3.1 工作流定义 #####

工作流要求：工作流需包含三个Shell类型的任务节点，分别是A，B，C。三个任务的依赖关系如下图所示：  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 12]

**1）创建工作流**

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 13]

**2）配置任务节点**

**（1）节点A**

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 14]

**（2）节点B**  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 15]

**（3）节点C**  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 16]

**3）配置任务节点的依赖关系**  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 17]

**4）保存工作流定义**

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 18]

##### 4.3.2 提交执行工作流 #####

**1）上线工作流**

工作流须上线之后才能执行。处于上线状态的工作流定义不可修改，如需修改，须先下线。  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 19]

**2）单次运行工作流**  
![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-I8AAzJT1-1647411694157)(file:///C:\\Users\\LIUMIN~1\\AppData\\Local\\Temp\\ksohtml\\wps6DB.tmp.jpg)\]][img-I8AAzJT1-1647411694157_file_C_Users_LIUMIN_1_AppData_Local_Temp_ksohtml_wps6DB.tmp.jpg]

**3）定时执行工作流**

**（1）点击定时**  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 20]

**（2）配置定时规则**

此处示例为每分钟执行一次  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 21]

**（3）定时管理**  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 22]

**(4）定时上线**  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 23]

##### 4.3.3 查看工作流实例 #####

**1）查看所有工作流实例**  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 24]

**2）查看工作流执行状态**  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 25]

#### 4.3.4 查看任务实例 ####

**1）查看所有任务实例**  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 26]

**2）查看任务实例日志**  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 27]

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 28]

### 第5章 DolphinScheduler进阶 ###

#### 5.1 工作流传参 ####

DolphinScheduler支持对任务节点进行灵活的传参，任务节点可通过$\{参数名\}引用参数值。

##### 5.1.1 局部参数 #####

局部参数是指只针对单个任务节点有效的参数。

**1）修改helloworld工作流Node-A节点如下**  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 29]

**2）保存工作流并运行，查看Node-A输出日志。**

##### 5.1.2 全局参数 #####

全局参数是指针对整个工作流的所有任务节点都有效的参数。

**1）修改helloworld工作流每个任务节点如下**

（1）节点A配置  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 30]

（2）节点B配置  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 31]

（3）节点C配置  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 32]

**2）保存工作流，并设置全局参数**  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 33]

**3）执行工作流，查看三个任务节点输出日志。**

##### 5.1.3 系统内置参数 #####

DolphinScheduler提供了一些时间相关的系统参数，方便定时调度使用。

**1）系统参数**

<table> 
 <thead> 
  <tr> 
   <th><strong>参数</strong></th> 
   <th><strong>说明</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><strong>${system.biz.date}</strong></td> 
   <td>定时时间前一天，格式为 yyyyMMdd</td> 
  </tr> 
  <tr> 
   <td><strong>${system.biz.curdate}</strong></td> 
   <td>定时时间，格式为 yyyyMMdd</td> 
  </tr> 
  <tr> 
   <td><strong>${system.datetime}</strong></td> 
   <td>定时时间，格式为 yyyyMMddHHmmss</td> 
  </tr> 
 </tbody> 
</table>

**2）时间自定义参数**

可通过时间自定义参数，设置任意格式、任意时间的日期。

**（1）自定义日期格式**

$\[yyyyMMdd\], $\[HHmmss\], $\[yyyy-MM-dd\]

**（2）自定义时间**

<table> 
 <thead> 
  <tr> 
   <th><strong>参数</strong></th> 
   <th><strong>说明</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><strong>$[add_months(yyyyMMdd,12*N)]</strong></td> 
   <td>后 N 年</td> 
  </tr> 
  <tr> 
   <td><strong>$[add_months(yyyyMMdd,-12*N)]</strong></td> 
   <td>前 N 年</td> 
  </tr> 
  <tr> 
   <td><strong>$[add_months(yyyyMMdd,N)]</strong></td> 
   <td>后 N 月</td> 
  </tr> 
  <tr> 
   <td><strong>$[add_months(yyyyMMdd,-N)]</strong></td> 
   <td>前 N 月</td> 
  </tr> 
  <tr> 
   <td><strong>$[yyyyMMdd+7*N]</strong></td> 
   <td>后 N 周</td> 
  </tr> 
  <tr> 
   <td><strong>$[yyyyMMdd-7*N]</strong></td> 
   <td>前 N 周</td> 
  </tr> 
  <tr> 
   <td><strong>$[yyyyMMdd+N]</strong></td> 
   <td>后 N 天</td> 
  </tr> 
  <tr> 
   <td><strong>$[yyyyMMdd-N]</strong></td> 
   <td>前 N 天</td> 
  </tr> 
  <tr> 
   <td><strong>$[HHmmss+N/24]</strong></td> 
   <td>后 N 小时</td> 
  </tr> 
  <tr> 
   <td><strong>$[HHmmss-N/24]</strong></td> 
   <td>前 N 小时</td> 
  </tr> 
  <tr> 
   <td><strong>$[HHmmss+N/24/60]</strong></td> 
   <td>后 N 分钟</td> 
  </tr> 
  <tr> 
   <td><strong>$[HHmmss-N/24/60]</strong></td> 
   <td>前 N 分钟</td> 
  </tr> 
 </tbody> 
</table>

**3）配置示例**

若执行的脚本需要一个格式为yyyy-MM-dd的前一天日期的参数，进行如下配置即可。

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 34]

#### 5.2 引用依赖资源 ####

有些任务需要引用一些额外的资源，例如MR、Spark等任务需引用jar包，Shell任务需要引用其他脚本等。DolphinScheduler提供了资源中心来对这些资源进行统一管理。

下面以Shell任务为例，演示如何引用资源中心的其他脚本。

**1）在资源中心创建脚本**  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 35]

**2）配置Shell任务引用脚本**

修改工作流，引用上述脚本  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 36]

**3）保存工作流并执行，查看对应节点输出日志。**

#### 5.3 告警通知 ####

##### 5.3.1 准备电子邮箱账户 #####

如需使用DolphinScheduler的邮件告警通知功能，需要准备一个电子邮箱账号，并启用SMTP服务。

**1）点击邮箱账号设置**  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 37]

**2）开启SMTP服务**  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 38]

**3）授权码是邮箱账号在第三方客户端登录的凭证，须谨记。**  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 39]

##### 5.3.2 配置AlertServer #####

**1）修改AlertServer配置文件/opt/module/dolphinscheduler/conf/alert.properties**

`[liumingze@hadoop102 ~]$ vim /opt/module/dolphinscheduler/conf/alert.properties`

2）配置以下参数

（1）不使用加密协议

#alert type is EMAIL/SMS
    alert.type=EMAIL
    
    # mail server configuration
    mail.protocol=SMTP
    mail.server.host=smtp.qq.com
    mail.server.port=25
    mail.sender=*********@qq.com
    mail.user=*********@qq.com
    mail.passwd=*************
    # TLS
    mail.smtp.starttls.enable=false
    # SSL
    mail.smtp.ssl.enable=false
    mail.smtp.ssl.trust=smtp.exmail.qq.com

（2）使用STARTTLS加密协议

#alert type is EMAIL/SMS
    alert.type=EMAIL
    
    # mail server configuration
    mail.protocol=SMTP
    mail.server.host=smtp.qq.com
    mail.server.port=587
    mail.sender=*********@qq.com
    mail.user=*********@qq.com
    mail.passwd=*************
    # TLS
    mail.smtp.starttls.enable=true
    # SSL
    mail.smtp.ssl.enable=false
    mail.smtp.ssl.trust=smtp.qq.com

（3）使用SSL加密协议

#alert type is EMAIL/SMS
    alert.type=EMAIL
    
    # mail server configuration
    mail.protocol=SMTP
    mail.server.host=smtp.qq.com
    mail.server.port=465
    mail.sender=*********@qq.com
    mail.user=*********@qq.com
    mail.passwd=*************
    # TLS
    mail.smtp.starttls.enable=false
    # SSL
    mail.smtp.ssl.enable=true
    mail.smtp.ssl.trust=smtp.qq.com

注：[各邮箱支持的加密协议：][Link 1]https://blog.csdn.net/wustzjf/article/details/52481309

##### 5.3.3 测试 #####

**1）运行工作流**  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 40]

**2）选择通知策略**

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 41]

**3）选择通知人**

通知人可通过邮箱执行，也可通过通知组指定。  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 42]

#### 5.4 工作流失败重跑 ####

若工作流执行到一半失败了，需要重新启动工作流。重新启动时可选择从起点开始执行，也可选择从断点开始执行。

1）模拟失败场景

（1）修改Node-A配置如下  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 43]

（2）修改资源中心的test.sh文件如下![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 44]

2）运行工作流  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 45]

3）查看工作流实例  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 46]

4）工作失败重跑  
（1）从起点开始  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 47]

（2）从断点开始  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 48]

[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/7c807becb09e4aaa8b1ab723e43e74d6.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/100cc643e6884f34802e8aa2a6f1b766.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 2]: https://img-blog.csdnimg.cn/fc4ec589b55745e59e5e52382b1c0a46.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 3]: https://img-blog.csdnimg.cn/536c61462fe14e5db9d6a9b227f50790.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 4]: https://img-blog.csdnimg.cn/6919d2037a7342d48a9f9a274b32c464.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 5]: https://img-blog.csdnimg.cn/2f54d0c2f13147d08c98c720c1b15126.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 6]: https://img-blog.csdnimg.cn/7bbff3eb7839485cbf3139a487aa0d1a.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 7]: https://img-blog.csdnimg.cn/79a114c391444ed8a59a1f1883de725e.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 8]: https://img-blog.csdnimg.cn/2654445ecf0b455b92e130c1ac2de08e.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[img-c7c2sEnj-1647411694152_file_C_Users_LIUMIN_1_AppData_Local_Temp_ksohtml_wps6BF.tmp.jpg]: https://img-blog.csdnimg.cn/9eab565c3073405fbd314bb77e24cdca.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 9]: https://img-blog.csdnimg.cn/eaec1f990b094a6f83a0cc8da06160dc.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 10]: https://img-blog.csdnimg.cn/6250885543794690b7d9428e01ee740a.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 11]: https://img-blog.csdnimg.cn/89dff2c9a12a487e88d8a2443b9afd59.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 12]: https://img-blog.csdnimg.cn/0a6d04f501ff4f10a3027fad425a5d99.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 13]: https://img-blog.csdnimg.cn/6618513c4f334de6b0748ef2351ee8d6.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 14]: https://img-blog.csdnimg.cn/ea00be311b15453c84f5587b4a08b0b0.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 15]: https://img-blog.csdnimg.cn/9cf06f5a12df4d36aac32b26823a4bf4.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 16]: https://img-blog.csdnimg.cn/d47a9fce87934e9eb5d7f77985e3922c.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 17]: https://img-blog.csdnimg.cn/ab12d6a66188440da191b9c7f4c994cf.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 18]: https://img-blog.csdnimg.cn/a5436508aab44318a680a6700df424b2.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 19]: https://img-blog.csdnimg.cn/2326ae55424d405688a65cd15c7eb75a.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[img-I8AAzJT1-1647411694157_file_C_Users_LIUMIN_1_AppData_Local_Temp_ksohtml_wps6DB.tmp.jpg]: https://img-blog.csdnimg.cn/bf0925e87d8e4336a74efac4e3d0a991.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 20]: https://img-blog.csdnimg.cn/2171c33eb89f4dadb70c1291fb7a3cfe.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 21]: https://img-blog.csdnimg.cn/7746c8f07bf441c9a1877c5472f9f1f7.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 22]: https://img-blog.csdnimg.cn/e11b4140d91b4febaedda7a7d7a8e7e7.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 23]: https://img-blog.csdnimg.cn/72df11c34bfb478c8cc593bfa6ddf7b8.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 24]: https://img-blog.csdnimg.cn/8db6c7bd67ca46e589983a6f5fd97476.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 25]: https://img-blog.csdnimg.cn/ec27f31b8461493fa4841dc41d566f1c.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 26]: https://img-blog.csdnimg.cn/494703e54b1744188ab91f596130570c.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 27]: https://img-blog.csdnimg.cn/51fb1103956a46f1ae8d8f71a83be719.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 28]: https://img-blog.csdnimg.cn/c60a5114e7224e809f9f009a3abf5f46.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 29]: https://img-blog.csdnimg.cn/1a2788c78f86460dbc98786f81c7048c.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 30]: https://img-blog.csdnimg.cn/e5d1520736c94b248f12956cb2ac62d4.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 31]: https://img-blog.csdnimg.cn/ba76381286cd4c6caa2fcc9ba81416f6.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 32]: https://img-blog.csdnimg.cn/bb7dfb3b4c204b69923d6c7ca4932b1d.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 33]: https://img-blog.csdnimg.cn/ac43ff431ed842e2b2dffe6b084c5ef9.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 34]: https://img-blog.csdnimg.cn/0d8c30f1473d415ea9f324a8695a79c4.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 35]: https://img-blog.csdnimg.cn/9e5f9081d63242ea91eec807471101b1.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 36]: https://img-blog.csdnimg.cn/081d304da801436e87c338afa014c8cf.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 37]: https://img-blog.csdnimg.cn/d3e8aab4cffb4007bf48ae8e9e912b97.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 38]: https://img-blog.csdnimg.cn/6f4f1014807f4bc89ff00de6db2ab2a5.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 39]: https://img-blog.csdnimg.cn/469ed7d1567a4d0ead0c8e0dd361d682.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[Link 1]: https://blog.csdn.net/wustzjf/article/details/52481309
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 40]: https://img-blog.csdnimg.cn/9f276b0e6d294a69bfb7e9fc5e662ea7.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 41]: https://img-blog.csdnimg.cn/8956a922f72440c0b4fb392549abdfee.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 42]: https://img-blog.csdnimg.cn/caa457f0d7f94ef88b2b5d2d6508ff19.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 43]: https://img-blog.csdnimg.cn/a9285f37a6d642258a92db3b8071c512.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 44]: https://img-blog.csdnimg.cn/bf42cbbf892c42b7a0158adc76f0751d.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 45]: https://img-blog.csdnimg.cn/d351c5c2c2114382aef94609278288a8.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 46]: https://img-blog.csdnimg.cn/82b7ccc1a4f0496a80281be3c000e9fa.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 47]: https://img-blog.csdnimg.cn/e36d880dd940405a87e9e2aea4b912f7.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 48]: https://img-blog.csdnimg.cn/4960d0449ae94afc921d2532ce791295.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16