課程介紹:
Flume是Cloudera提供的一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類(lèi)數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫(xiě)到各種數(shù)據(jù)接受方（可定制）的能力。
當(dāng)前Flume有兩個(gè)版本Flume 0.9X版本的統(tǒng)稱(chēng)Flume-og，F(xiàn)lume1.X版本的統(tǒng)稱(chēng)Flume-ng。由于Flume-ng經(jīng)過(guò)重大重構(gòu)，與Flume-og有很大不同，使用時(shí)請(qǐng)注意區(qū)分。
課程目錄
1flume簡(jiǎn)介-基礎(chǔ)知識(shí)
講述flume的基礎(chǔ)知識(shí)包括flume的基本概念和核心組件。flume是一個(gè)分布式、可靠、高可用的海量日志聚合系統(tǒng)，支持在系統(tǒng)中定制各類(lèi)數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)的簡(jiǎn)單處理，并寫(xiě)到各種數(shù)據(jù)接收方的能力。
2 flume安裝與測(cè)試
講述flume安裝與測(cè)試，主要包括flume單機(jī)安裝與測(cè)試、flume集群安裝與測(cè)試、Arvo環(huán)境的搭建以及安裝過(guò)程中的一些異常的解決方案講解。
3 flume部署方式
講述flume部署種類(lèi)、流配置。其中詳細(xì)講解了單一代理、多代理、多路復(fù)用流的配置說(shuō)明。
4 flume source相關(guān)配置及測(cè)試
講述flume source相關(guān)的配置和案例分析，包括了Avro Source配置、Thrift Source配置、Exec Source配置、JMS Source配置、NetCat Source配置、Spooling Directory Source配置、Sequence Generator Source配置、Syslog TCP Source配置、Multiport Syslog TCP Source配置、Syslog UDP Source配置、Http Source配置、Custom Source配置。
5 flume sink相關(guān)配置及測(cè)試
講述flume sink相關(guān)的配置以及flume channel配置和案例分析，包括了HDFS Sink配置、Logger Sink配置、Avro Sink配置、Thrift Sink配置、IRC Sink配置、File Roll Sink配置、Null Sink配置、Hbase Sink配置、AsyncHbase Sink配置、Custom Sink配置；Memory Channel配置、JDBC Channel配置、File Channel配置、Pseudo Transaction Channel配置、Custom Channel配置。
6 flume selector 相關(guān)配置與案例分析
講述 flume selector相關(guān)配置和案例分析，包括了Replicating Channel Selector配置、Multiplexing Channel Selector配置、Custom Channel Selector配置。
7 Flume Sink Processors相關(guān)配置和案例分析
講述 Flume Sink Processors相關(guān)配置和案例分析，包括了Default Sink Processor配置、Failover Sink Processor配置、Load balancing Sink Processor配置。
8Flume Interceptors相關(guān)配置和案例分析
講述 Flume Event Serializers、Flume Interceptors相關(guān)配置和案例分析，包括了Body Text Serializer配置、Avro Text Serializer配置、Timestamp Interceptor配置、Host Interceptor配置、Static Interceptor配置、Regex Filtering Interceptor配置。
9 Flume RPC Client開(kāi)發(fā)
講述如何進(jìn)行 flume RPC Client開(kāi)發(fā)，這個(gè)是在通常應(yīng)用中使用的較多的一種方式。
10Flume Sink和Flume Source開(kāi)發(fā)
講述如何進(jìn)行 flume Sink、flume Source開(kāi)發(fā)。
