課程介紹:
Storm是一個(gè)分布式的,可靠的,容錯(cuò)的數(shù)據(jù)流處理系統(tǒng)。Storm集群的輸入流由一個(gè)被稱(chēng)作spout的組件管理,spout把數(shù)據(jù)傳遞給bolt, bolt要么把數(shù)據(jù)保存到某種存儲(chǔ)器,要么把數(shù)據(jù)傳遞給其它的bolt。一個(gè)Storm集群就是在一連串的bolt之間轉(zhuǎn)換spout傳過(guò)來(lái)的數(shù)據(jù)。
Storm組件
在Storm集群中,有兩類(lèi)節(jié)點(diǎn):主節(jié)點(diǎn)master node和工作節(jié)點(diǎn)worker nodes。主節(jié)點(diǎn)運(yùn)行Nimbus守護(hù)進(jìn)程,這個(gè)守護(hù)進(jìn)程負(fù)責(zé)在集群中分發(fā)代碼,為工作節(jié)點(diǎn)分配任務(wù),并監(jiān)控故障。Supervisor守護(hù)進(jìn)程作為拓?fù)涞囊徊糠诌\(yùn)行在工作節(jié)點(diǎn)上。一個(gè)Storm拓?fù)浣Y(jié)構(gòu)在不同的機(jī)器上運(yùn)行著眾多的工作節(jié)點(diǎn)。每個(gè)工作節(jié)點(diǎn)都是topology中一個(gè)子集的實(shí)現(xiàn)。而Nimbus和Supervisor之間的協(xié)調(diào)則通過(guò)Zookeeper系統(tǒng)或者集群。
——————-課程目錄——————-
│ ├Storm第01天-01.介紹與安裝.mp4
│ ├Storm第01天-02.storm配置-啟動(dòng)進(jìn)程.mp4
│ ├Storm第01天-03.storm體驗(yàn)Spout-bolt編程.avi
│ ├Storm第02天-01.StormZK考查-NC集成log輸出.avi
│ ├Storm第02天-02.Spout進(jìn)程考查-并發(fā)度.avi
│ ├Storm第02天-03.Spout分組策略-shuffle-all-field-direct.avi
│ ├Storm第02天-04.Spout可靠消息的保證-ack-fail-callback.avi
│ ├Storm第02天-05.Spout超時(shí)設(shè)置.avi
│ ├Storm第03天-01.Storm并發(fā)度設(shè)置.avi
│ ├Storm第03天-02.Storm再平衡-ncbug糾錯(cuò).avi
│ ├Storm第03天-03.Storm基礎(chǔ)kafka.avi
│ ├Storm第03天-04.Storm基集成kafka-bug修正.avi
│ ├Storm第03天-05.Storm Trident.avi
│ ├Storm第04天-01.Trident批次原理考查-分區(qū)展示.avi
│ ├Storm第04天-02.聚合函數(shù).avi
│ ├Storm第04天-03.自定義聚合函數(shù)-Sum-SumAsAggregator.avi
│ ├Storm第04天-04.自定義聚合函數(shù)-Sum-CombinerAggregator.avi
│ ├Storm第04天-05.Drpc-topology值獲取.avi
│ ├Storm第05天-01.hbase-storm集成.avi
│ └Storm第05天-01.hbase-storm集成2.avi