第1章 Azkaban概論
1.1 為什么需要工作流調(diào)度系統(tǒng)
1）一個(gè)完整的數(shù)據(jù)分析系統(tǒng)通常都是由大量任務(wù)單元組成：
Shell腳本程序，JAVA程序，MapReduce程序、Hive腳本等
2）各任務(wù)單元之間存在時(shí)間先后及前后依賴(lài)關(guān)系
3）為了很好地組織起這樣的復(fù)雜執(zhí)行計(jì)劃，需要一個(gè)工作流調(diào)度系統(tǒng)來(lái)調(diào)度執(zhí)行；
1.2 常見(jiàn)工作流調(diào)度系統(tǒng)
1）簡(jiǎn)單的任務(wù)調(diào)度：直接使用linux的Crontab來(lái)定義；
2）復(fù)雜的任務(wù)調(diào)度：開(kāi)發(fā)調(diào)度平臺(tái)或使用現(xiàn)成的開(kāi)源調(diào)度系統(tǒng)，比如Ooize、Azkaban、 Airflow、DolphinScheduler等。
1.3 Azkaban與Oozie對(duì)比
對(duì)市面上最流行的兩種調(diào)度器，給出以下詳細(xì)對(duì)比，以供技術(shù)選型參考?？傮w來(lái)說(shuō)，Ooize相比Azkaban是一個(gè)重量級(jí)的任務(wù)調(diào)度系統(tǒng)，功能全面，但配置使用也更復(fù)雜。如果可以不在意某些功能的缺失，輕量級(jí)調(diào)度器Azkaban是很不錯(cuò)的候選對(duì)象。
第2章 Azkaban入門(mén)
2.1 集群模式安裝
2.1.1 上傳tar包
1）將azkaban-db-3.84.4.tar.gz，azkaban-exec-server-3.84.4.tar.gz，azkaban-web-server-3.84.4.tar.gz上傳到hadoop102的/opt/software路徑
[bigdata@hadoop102 software]$ ll
總用量 35572
-rw-r--r--. 1 bigdata bigdata 6433 4月 18 17:24 azkaban-db-3.84.4.tar.gz
-rw-r--r--. 1 bigdata bigdata 16175002 4月 18 17:26 azkaban-exec-server-3.84.4.tar.gz
-rw-r--r--. 1 bigdata bigdata 20239974 4月 18 17:26 azkaban-web-server-3.84.4.tar.gz
2）新建/opt/module/azkaban目錄，并將所有tar包解壓到這個(gè)目錄下
[bigdata@hadoop102 software]$ mkdir /opt/module/azkaban
3）解壓azkaban-db-3.84.4.tar.gz、 azkaban-exec-server-3.84.4.tar.gz和azkaban-web-server-3.84.4.tar.gz到/opt/module/azkaban目錄下
[bigdata@hadoop102 software]$ tar -zxvf azkaban-db-3.84.4.tar.gz -C /opt/module/azkaban/
[bigdata@hadoop102 software]$ tar -zxvf azkaban-exec-server-3.84.4.tar.gz -C /opt/module/azkaban/
[bigdata@hadoop102 software]$ tar -zxvf azkaban-web-server-3.84.4.tar.gz -C /opt/module/azkaban/
4）進(jìn)入到/opt/module/azkaban目錄，依次修改名稱(chēng)
[bigdata@hadoop102 azkaban]$ mv azkaban-exec-server-3.84.4/ azkaban-exec
[bigdata@hadoop102 azkaban]$ mv azkaban-web-server-3.84.4/ azkaban-web
2.1.2 配置MySQL
1）正常安裝MySQL
詳見(jiàn)《Hive安裝與配置》
2）啟動(dòng)MySQL
[bigdata@hadoop102 azkaban]$ mysql -uroot -p000000
3）登陸MySQL，創(chuàng)建Azkaban數(shù)據(jù)庫(kù)
mysql> create database azkaban;
4）創(chuàng)建azkaban用戶(hù)并賦予權(quán)限
設(shè)置密碼有效長(zhǎng)度4位及以上
mysql> set global validate_password_length=4;
設(shè)置密碼策略最低級(jí)別
mysql> set global validate_password_policy=0;
創(chuàng)建Azkaban用戶(hù)，任何主機(jī)都可以訪問(wèn)Azkaban，密碼是000000
mysql> CREATE USER 'azkaban'@'%' IDENTIFIED BY '000000';
賦予Azkaban用戶(hù)增刪改查權(quán)限
mysql> GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban'@'%' WITH GRANT OPTION;
5）創(chuàng)建Azkaban表，完成后退出MySQL
mysql> use azkaban;
mysql> source /opt/module/azkaban/azkaban-db-3.84.4/create-all-sql-3.84.4.sql
mysql> quit;
6）更改MySQL包大??；防止Azkaban連接MySQL阻塞
[bigdata@hadoop102 software]$ sudo vim /etc/my.cnf
在[mysqld]下面加一行max_allowed_packet=1024M
[mysqld]
max_allowed_packet=1024M
8）重啟MySQL
[bigdata@hadoop102 software]$ sudo systemctl restart mysqld
2.1.3 配置Executor Server
Azkaban Executor Server處理工作流和作業(yè)的實(shí)際執(zhí)行。
1）編輯azkaban.properties
[bigdata@hadoop102 azkaban]$ vim /opt/module/azkaban/azkaban-exec/conf/azkaban.properties
修改如下標(biāo)紅的屬性
#...
default.timezone.id=Asia/Shanghai
#...
azkaban.webserver.url=http://hadoop102:8081
executor.port=12321
#...
database.type=mysql
mysql.port=3306
mysql.host=hadoop102
mysql.database=azkaban
mysql.user=azkaban
mysql.password=000000
mysql.numconnections=100
在最后添加
executor.metric.reports=true
executor.metric.milisecinterval.default=60000
2）同步azkaban-exec到所有節(jié)點(diǎn)
[bigdata@hadoop102 azkaban]$ xsync /opt/module/azkaban/azkaban-exec
3）必須進(jìn)入到/opt/module/azkaban/azkaban-exec路徑，分別在三臺(tái)機(jī)器上，啟動(dòng)executor server
[bigdata@hadoop102 azkaban-exec]$ bin/start-exec.sh
[bigdata@hadoop103 azkaban-exec]$ bin/start-exec.sh
[bigdata@hadoop104 azkaban-exec]$ bin/start-exec.sh
注意：如果在/opt/module/azkaban/azkaban-exec目錄下出現(xiàn)executor.port文件，說(shuō)明啟動(dòng)成功
4）下面激活executor，需要
[bigdata@hadoop102 azkaban-exec]$ curl -G "hadoop102:$(<./executor.port)/executor?action=activate" && echo
[bigdata@hadoop103 azkaban-exec]$ curl -G "hadoop103:$(<./executor.port)/executor?action=activate" && echo
[bigdata@hadoop104 azkaban-exec]$ curl -G "hadoop104:$(<./executor.port)/executor?action=activate" && echo
如果三臺(tái)機(jī)器都出現(xiàn)如下提示，則表示激活成功
{"status":"success"}
2.1.4 配置Web Server
Azkaban Web Server處理項(xiàng)目管理，身份驗(yàn)證，計(jì)劃和執(zhí)行觸發(fā)。
1）編輯azkaban.properties
[bigdata@hadoop102 azkaban]$ vim /opt/module/azkaban/azkaban-web/conf/azkaban.properties
修改如下屬性
...
default.timezone.id=Asia/Shanghai
...
database.type=mysql
mysql.port=3306
mysql.host=hadoop102
mysql.database=azkaban
mysql.user=azkaban
mysql.password=000000
mysql.numconnections=100
...
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus
說(shuō)明：
#StaticRemainingFlowSize：正在排隊(duì)的任務(wù)數(shù)；
#CpuStatus：CPU占用情況
#MinimumFreeMemory：內(nèi)存占用情況。測(cè)試環(huán)境，必須將MinimumFreeMemory刪除掉，否則它會(huì)認(rèn)為集群資源不夠，不執(zhí)行。
2）修改azkaban-users.xml文件，添加bigdata用戶(hù)
[bigdata@hadoop102 azkaban-web]$ vim /opt/module/azkaban/azkaban-web/conf/azkaban-users.xml
<azkaban-users>
<user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/>
<user password="metrics" roles="metrics" username="metrics"/>
<user password="bigdata" roles="metrics,admin" username="bigdata"/>
<role name="admin" permissions="ADMIN"/>
<role name="metrics" permissions="METRICS"/>
</azkaban-users>
3）必須進(jìn)入到hadoop102的/opt/module/azkaban/azkaban-web路徑，啟動(dòng)web server
[bigdata@hadoop102 azkaban-web]$ bin/start-web.sh
4）訪問(wèn)http://hadoop102:8081,并用bigdata用戶(hù)登陸
2.2 Work Flow案例實(shí)操
2.2.1 HelloWorld案例
1）在windows環(huán)境，新建azkaban.project文件，編輯內(nèi)容如下
azkaban-flow-version: 2.0
注意：該文件作用，是采用新的Flow-API方式解析flow文件。
2）新建basic.flow文件，內(nèi)容如下
nodes:
- name: jobA
type: command
config:
command: echo "Hello World"
（1）Name：job名稱(chēng)
（2）Type：job類(lèi)型。command表示你要執(zhí)行作業(yè)的方式為命令
（3）Config：job配置
3）將azkaban.project、basic.flow文件壓縮到一個(gè)zip文件，文件名稱(chēng)必須是英文。
4）在WebServer新建項(xiàng)目：http://hadoop102:8081/index
5）給項(xiàng)目名稱(chēng)命名和添加項(xiàng)目描述
6）first.zip文件上傳
7）選擇上傳的文件
8）執(zhí)行任務(wù)流
9）在日志中，查看運(yùn)行結(jié)果
2.2.2 作業(yè)依賴(lài)案例
需求：JobA和JobB執(zhí)行完了，才能執(zhí)行JobC
具體步驟：
1）修改basic.flow為如下內(nèi)容
nodes:
- name: jobC
type: command
# jobC 依賴(lài) JobA和JobB
dependsOn:
- jobA
- jobB
config:
command: echo "I’m JobC"
- name: jobA
type: command
config:
command: echo "I’m JobA"
- name: jobB
type: command
config:
command: echo "I’m JobB"
（1）dependsOn：作業(yè)依賴(lài)，后面案例中演示
2）將修改后的basic.flow和azkaban.project壓縮成second.zip文件
3）重復(fù)2.3.1節(jié)HelloWorld后續(xù)步驟。
2.2.3 內(nèi)嵌工作流案例
需求：JobA執(zhí)行完后執(zhí)行JobB，JobA和JobB形成一個(gè)工作流embedded_flow；JobC依賴(lài)于embedded_flow該工作流。
1）工作流定義文件中可以添加子工作流，例如：
nodes:
- name: jobC
type: command
# jobC 依賴(lài)embedded_flow
dependsOn:
- embedded_flow
config:
command: echo "I’m JobC"
- name: embedded_flow
type: flow
nodes:
- name: jobB
type: noop
dependsOn:
- jobA
- name: jobA
type: command
config:
command: pwd
參數(shù)說(shuō)明：
type: 作業(yè)類(lèi)型。flow表示，定義為工作流類(lèi)型
type: noop 什么也不處理
2）將修改后的basic.flow和azkaban.project壓縮成three.zip文件
3）重復(fù)2.3.1節(jié)HelloWorld后續(xù)步驟。
2.2.4 自動(dòng)失敗重試案例
需求：如果執(zhí)行任務(wù)失敗，需要重試3次，重試的時(shí)間間隔10000ms
具體步驟：
1）編譯配置流
nodes:
- name: JobA
type: command
config:
command: sh /not_exists.sh
retries: 3
retry.backoff: 10000
參數(shù)說(shuō)明：
retries：重試次數(shù)
retry.backoff：重試的時(shí)間間隔
2）將修改后的basic.flow和azkaban.project壓縮成four.zip文件
3）重復(fù)2.3.1節(jié)HelloWorld后續(xù)步驟。
4）執(zhí)行并觀察到一次失敗+三次重試
5）也可以點(diǎn)擊上圖中的Log，在任務(wù)日志中看到，總共執(zhí)行了4次。
6）也可以在Flow全局配置中添加任務(wù)失敗重試配置，此時(shí)重試配置會(huì)應(yīng)用到所有Job。
案例如下：
config:
retries: 3
retry.backoff: 10000
nodes:
- name: JobA
type: command
config:
command: sh /not_exists.sh
2.2.5 手動(dòng)失敗重試案例
需求：JobA=》JobB（依賴(lài)于A）=》JobC=》JobD=》JobE=》JobF。生產(chǎn)環(huán)境，任何Job都有可能掛掉，可以根據(jù)需求執(zhí)行想要執(zhí)行的Job。
具體步驟：
1）編譯配置流
nodes:
- name: JobA
type: command
config:
command: echo "This is JobA."
- name: JobB
type: command
dependsOn:
- JobA
config:
command: echo "This is JobB."
- name: JobC
type: command
dependsOn:
- JobB
config:
command: echo "This is JobC."
- name: JobD
type: command
dependsOn:
- JobC
config:
command: echo "This is JobD."
- name: JobE
type: command
dependsOn:
- JobD
config:
command: echo "This is JobE."
- name: JobF
type: command
dependsOn:
- JobE
config:
command: echo "This is JobF."
2）將修改后的basic.flow和azkaban.project壓縮成five.zip文件
3）重復(fù)2.3.1節(jié)HelloWorld后續(xù)步驟。
Enable和Disable下面都分別有如下參數(shù)：
Parents：該作業(yè)的上一個(gè)任務(wù)
Ancestors：該作業(yè)前的所有任務(wù)
Children：該作業(yè)后的一個(gè)任務(wù)
Descendents：該作業(yè)后的所有任務(wù)
Enable All：所有的任務(wù)
4）可以根據(jù)需求選擇性執(zhí)行對(duì)應(yīng)的任務(wù)。
