課程亮點
1,大規模集群調優(150臺服務器)、千億級別數據量的規模
2,全程實操,以需求為目標,逐步實現。
3,貼近真實企業開發的工作流程。
4,基于AWS云平臺實現,學習如何在云上實踐大數據。
大數據進階教程丨基于AWS云平臺大規模集群千億數據調優方案
適用人群
1、對大數據技術感興趣的在校生及應屆畢業生。
2、Hadoop從業者,希望進一步提升個人技能,拓展職業路線。
3、對大數據行業感興趣的相關人員。
4、對AWS云平臺感興趣的相關人員。
課程內容
1-集群創建和參數設置
2-配置集群監控
3-準備數據
4-提交任務準備dw層數據
5-數據傾斜的解決方法
6-最終指標統計
7-補充-不解決數據傾斜問題的任務演示
8-集群規模預覽