【課程大綱】
Azkaban是一個Hadoop workflow定時調度工具,解決了多個Hadoop任務單元之間的前后依賴關系。它提供了十分友好的用戶界面,使用簡單,容易上手。
在本課程中,你將學到Azkaban的安裝部署、基礎架構、定時調度工作流程(包含Shell、MapReduce、Hive等)、郵箱通知等。
Azkaban_簡介
Azkaban_特點
Azkaban_架構
Azkaban_Web_server_配置
Azkaban_Executor_server_配置
Azkaban_Web簡介
Azkaban_基礎使用
Azkaban_調度Shell腳本
Azkaban_通知郵件
Azkaban_多任務工作流程配置
Azkaban_Java_任務配置
Azkaban_HDFS_任務配置
Azkaban_MR_任務配置
Azkaban_Hive_任務配置
Azkaban_傳參
Flume
Flume是Cloudera提供的一個高可用的、高可靠的分布式海量日志采集、聚合和傳輸的系統。Flume基于流式架構,靈活簡單,是大數據開發工程師必會的框架之一。
在本課程中,你將學習到Flume架構原理、安裝配置、拓撲結構、使用Flume搭建監控端口采集數據、監控本地(或HDFS)文件(或文件夾)采集數據、多數據源采集數據、多數據出口收集日志、Flume負載均衡以及對于Flume的監控Ganglia的運用。
本次更新:課件升級、Flume中的事務、Flume故障轉移、自定義組件Source和Sink。
課程目錄
Flume入門_課程介紹
Flume入門_概念
Flume入門_基礎架構
Flume入門_組件介紹
Flume入門_安裝
Flume案例_官方案例(配置)
Flume案例_官方案例(測試)
Flume案例_監控本地變化文件(需求分析)
Flume案例_監控本地變化文件(案例一配置文件)
Flume案例_監控本地變化文件(案例一測試)
Flume案例_監控本地變化文件(案例二配置文件)
Flume案例_監控本地變化文件(案例二測試)
Flume案例_監控本地文件夾(配置文件)
Flume案例_監控本地文件夾(案例測試)
Flume案例_斷點續傳文件(配置文件)
Flume案例_斷點續傳文件(案例測試)
Flume高級_事務性,
Flume高級_傳輸詳細流程
Flume高級_拓撲結構
Flume高級_回顧
Flume高級_Channel選擇器副本機制(需求分析)
Flume高級_Channel選擇器副本機制(配置文件)
Flume高級_Channel選擇器副本機制(案例測試)
Flume高級_Sink組故障轉移(需求分析)
Flume高級_Sink組故障轉移(案例測試)
Flume高級_Sink組負載均衡(配置&測試)
Flume高級_聚合組(需求分析)
Flume高級_聚合組(配置文件)
Flume高級_聚合組(案例測試)
Flume高級_自定義攔截器(需求分析)
Flume高級_自定義攔截器(代碼實現)
Flume高級_自定義攔截器(配置文件)
Flume高級_自定義攔截器(案例測試)
Flume高級_自定義Source(需求分析)
Flume高級_自定義Source(代碼實現)
Flume高級_自定義Source(案例測試)
Flume高級_回顧
Flume高級_自定義Sink(需求分析)
Flume高級_自定義Sink(代碼實現)
Flume高級_自定義Sink(打包測試)
Flume監控_Ganglia安裝
Flume監控_Ganglia測試
Flume_面試題