本期給大家帶來的是Yarn的工作原理相關知識點,作為大數據開發中眾多框架中的一個,Yarn為什么會如此重要以至于要單獨開一期來說?下面就為你揭曉Yarn的工作原理!
一、什么是Yarn?
從業界使用分布式系統的變化趨勢和Hadoop框架的長遠來看,MapReduce的JobTracker和TaskTracker機制需要大規模的調整來修復它在可擴展性、內存消耗、可靠性和性能上的缺陷。
為了從跟根本上解決上述問題,從Hadoop0.23.0版本開始,MapReduce框架完全重構,并把新的框架命名為YARN。
核心思想:將MP1中JobTracker的資源管理和作業調度兩個功能分開,分別由ResourceManager和ApplicationMaster進程來實現。
1.ResourceManager:負責整個集群的資源管理和調度。
2.ApplicationMaster:負責應用程序相關的事務,比如任務調度、任務監控和容錯等。
YARN的出現,使得多個計算框架可以運行在一個集群當中。
1.每個應用程序對應一個ApplicationMaster。
2.目前可以支持多種計算框架運行在YARN上面比如MapReduce、Storm、Spark、Flink等。
大數據開發-Yarn的工作原理
網友整理
注冊時間:
網站:5 個 小程序:0 個 文章:12 篇
-
51998
網站
- 12
小程序
-
1030137
文章
-
747
會員
熱門網站
- 各百科-專業百科問答知識名網站 m.geelcn.com
- 免費軟件,綠色軟件園,手機軟件下載,熱門游戲下載中心-中當網 m.deelcn.com
- 魔扣科技 www.ylptlb.cn
- 體育新聞_國際體育資訊_全球體育賽事-中名網 www.feelcn.com/tiyu/tiyuxinwen/
- 食品安全_健康飲食_舌尖上的安全-中名網 www.feelcn.com/shenghuo/shipinanquan/
- 中合網 www.heelcn.com
- 中當網 www.deelcn.com
- 魔扣網站維護代運營 www.ylptlb.cn/tg
- 中合網-健康養生知識科普名站 m.heelcn.com
- 各百科 www.geelcn.com
最新入駐小程序
熱門文章
- 民以食為天 離線人臉識別助力打造智慧食堂 08-20
- 青桔單車發布3款新車 已進入150個城市 08-13
- 民間大神用Win7毛玻璃UI風格改造Win10:情懷滿滿 08-06
- 網站標題是否可以修改?怎么改不影響網站權重? 11-19
- 關于網站標題和正文的匹配度分析 09-29
- 從滾石、華納到環球,三個關鍵詞讀懂網易云為何成版權方最愛 08-12
- 天眼被注冊為煙草商標,中國控煙協會要求嚴查 08-13
- 深圳實現5G獨立組網全覆蓋 已累計建設5G基站超4.6萬個 08-17
- 滴滴App內嵌買車服務 已在十余城上線 08-06
- 關鍵詞的密度要結合頁面版式來調整 11-28