Azkaban 使用

文章目录

• • • 一、前言
    • 二、创建flow
    • • 2.1 flow 1.0
      • • 2.1.1 创建job文件
        • 2.1.2 打包上传
      • 2.2 flow 2.0
      • • 2.2.1 创建 project 文件
        • 2.2.2 创建 flow 文件
        • 2.2.3 打包上传
    • 三、执行 flow 或 job
    • • 3.1 立即执行 flow 或 job
      • 3.2 定时执行 flow

一、前言

文中文中使用到的软件版本：Azkaban 3.90.0、MySQL 5.7、Centos 7。

一个 project 包含多个 flow，一个 flow 包含多个 job，job 之间可以有依赖关系。

二、创建flow

2.1 flow 1.0

由于 flow 1.0 即将被 flow 2.0 替代，这里简单介绍下其使用方法。

2.1.1 创建job文件

直接创建三个 job 文件：JobA.job、JobB.job、JobC.job

JobA.job：

type=command command=echo'this is JobA'

JobB.job：

type=command command=echo'this is JobB'

JobC.job：

type=command command=echo'this is JobC'dependencies=JobA,JobB

2.1.2 打包上传

把 JobA.job、JobB.job、JobC.job 打包成一个 zip 文件，并上传到一个已创建的 project 中；上传后会自动生成 flow 的名称(最后一个没有被依赖的 job 名称)

2.2 flow 2.0

2.2.1 创建 project 文件

创建 flow20.project 文件：

azkaban-flow-version: 2.0

2.2.2 创建 flow 文件

创建 basic.flow 文件：

nodes:-name: jobCtype: command# jobC depends on jobA and jobBconfig: command:echo"This is JobC."dependsOn:-jobA-jobB-name: jobAtype: command config: command:echo"This is JobA."-name: jobBtype: command config: command:echo"This is JobB."

一个 flow 文件对应一个 flow，如果有多个 flow，可以创建多个 flow 文件。

2.2.3 打包上传

把 flow20.project、basic.flow 文件打包成一个zip文件，并上传到一个已创建的 project中。

三、执行 flow 或 job

点击 flow 的Execue Flow来执行 flow 或点击 job 的Run job来运行 job

在弹出的页面中点击 Executor 或 Schedule 来立即执行或定时执行：

3.1 立即执行 flow 或 job

点击 Execute 按钮来立即执行 flow 或立即运行 job。

3.2 定时执行 flow

点击 Execute 按钮来定时执行 flow 或立即运行 job，在弹出的页面可以定义运行周期：