云計(jì)算視頻教程 Flume視頻教程分布式的海量日志采集 Flume日志收集利器視頻教程Flume是Cloudera提供的一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。
當(dāng)前Flume有兩個(gè)版本Flume 0.9X版本的統(tǒng)稱Flume-og，F(xiàn)lume1.X版本的統(tǒng)稱Flume-ng。由于Flume-ng經(jīng)過重大重構(gòu)，與Flume-og有很大不同，使用時(shí)請(qǐng)注意區(qū)分。1flume簡(jiǎn)介-基礎(chǔ)知識(shí)講述flume的基礎(chǔ)知識(shí)包括flume的基本概念和核心組件。flume是一個(gè)分布式、可靠、高可用的海量日志聚合系統(tǒng)，支持在系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)的簡(jiǎn)單處理，并寫到各種數(shù)據(jù)接收方的能力。2flume安裝與測(cè)試講述flume安裝與測(cè)試，主要包括flume單機(jī)安裝與測(cè)試、flume集群安裝與測(cè)試、Arvo環(huán)境的搭建以及安裝過程中的一些異常的解決方案講解。3flume部署方式講述flume部署種類、流配置。其中詳細(xì)講解了單一代理、多代理、多路復(fù)用流的配置說明。4flume source相關(guān)配置及測(cè)試講述flume source相關(guān)的配置和案例分析，包括了Avro Source配置、Thrift Source配置、Exec Source配置、JMS Source配置、NetCat Source配置、Spooling Directory Source配置、Sequence Generator Source配置、Syslog TCP Source配置、Multiport Syslog TCP Source配置、Syslog UDP Source配置、Http Source配置、Custom Source配置。5flume sink相關(guān)配置及測(cè)試講述flume sink相關(guān)的配置以及flume channel配置和案例分析，包括了HDFS Sink配置、Logger Sink配置、Avro Sink配置、Thrift Sink配置、IRC Sink配置、File Roll Sink配置、Null Sink配置、Hbase Sink配置、AsyncHbase Sink配置、Custom Sink配置；Memory Channel配置、JDBC Channel配置、File Channel配置、Pseudo Transaction Channel配置、Custom Channel配置。6flume selector 相關(guān)配置與案例分析講述 flume selector相關(guān)配置和案例分析，包括了Replicating Channel Selector配置、Multiplexing Channel Selector配置、Custom Channel Selector配置。7Flume Sink Processors相關(guān)配置和案例分析講述 Flume Sink Processors相關(guān)配置和案例分析，包括了Default Sink Processor配置、Failover Sink Processor配置、Load balancing Sink Processor配置。8Flume Interceptors相關(guān)配置和案例分析講述 Flume Event Serializers、Flume Interceptors相關(guān)配置和案例分析，包括了Body Text Serializer配置、Avro Text Serializer配置、Timestamp Interceptor配置、Host Interceptor配置、Static Interceptor配置、Regex Filtering Interceptor配置。9Flume RPC Client開發(fā)講述如何進(jìn)行 flume RPC Client開發(fā)，這個(gè)是在通常應(yīng)用中使用的較多的一種方式。10Flume Sink和Flume Source開發(fā)講述如何進(jìn)行 flume Sink、flume Source開發(fā)。
