玩轉大數據首先要明確自己將要學習的方向,沒有人能一下子吃透大數據里面所有的東西。
在大數據的世界里面主要有三個學習方向,大數據開發師、大數據運維師、大數據架構師。
哪個好?我不知道你所說的哪個好?指的是哪一塊,這三個都好,誰也離不開誰!
如果說你的是發展和薪資待遇的話,大數據開發,大數據挖掘會好點(大公司)小公司的話基本上都是你的活,所以最好是三個全會,哪怕不是全會,至少簡單的一套流程要會,技多不壓身能多學點就多學一點,肯定對你的工作和以后的發展肯定是有幫助的!
什么是大數據開發工程師
大數據開發:也就是去網絡上找數據,各大平臺,用爬蟲去爬取,建庫
圍繞大數據系平臺系統級的研發人員, 熟練Hadoop、Spark、Storm等主流大數據平臺的核心框架。
深入掌握如何編寫MapReduce的作業及作業流的管理完成對數據的計算,并能夠使用Hadoop提供的通用算法, 熟練掌握Hadoop整個生態系統的組件如:Yarn,HBase、Hive、Pig等重要組件,能夠實現對平臺監控、輔助運維系統的開發。
通過學習一系列面向開發者的Hadoop、Spark等大數據平臺開發技術,掌握設計開發大數據系統或平臺的工具和技能,能夠從事分布式計算框架如Hadoop、Spark群集環境的部署、開發和管理工作,如性能改進、功能擴展、故障分析等。
薪資情況:
現在,大數據工程師的平均薪資已經超過20000元,有著3年以上經驗的工程師,年薪超過30萬是很普通的薪資水平。
什么是大數據運維工程師
大數據運維:有一些數據需要進行維護,運維你也可以理解成維護!
了解Hadoop、Spark、Storm等主流大數據平臺的核心框架,熟悉Hadoop的核心組件:HDFS、MapReduce、Yarn;
具備大數據集群環境的資源配置,如網絡要求、硬件配置、系統搭建。熟悉各種大數據平臺的部署方式,集群搭建,故障診斷、日常維護、性能優化,同時負責平臺上的數據采集、數據清洗、數據存儲,數據維護及優化。
熟練使用Flume、Sqoop等工具將外部數據加載進入大數據平臺,通過管理工具分配集群資源實現多用戶協同使用集群資源。
通過靈活、易擴展的Hadoop平臺轉變了傳統的數據庫和數據倉庫系統架構,從Hadoop部署實施到運行全程的狀態監控,保證大數據業務應用的安全性、快速響應及擴展能力!
薪資情況:
運維工程師的平均薪資超過14000元,有超過20000個招聘崗位,而大數據運維工程師的薪資也都超過20000元。
什么是大數據架構師
大數據架構師是比大數據開發工程師更高一階段的工程師。
圍繞大數據系平臺系統級的研發人員, 熟練Hadoop、Spark、Storm等主流大數據平臺的核心框架。深入掌握如何編寫MapReduce的作業及作業流的管理完成對數據的計算,并能夠使用Hadoop提供的通用算法, 熟練掌握Hadoop整個生態系統的組件如:Yarn,HBase、Hive、Pig等重要組件,能夠實現對平臺監控、輔助運維系統的開發。
通過學習一系列面向開發者的Hadoop、Spark等大數據平臺開發技術,掌握設計開發大數據系統或平臺的工具和技能,能夠從事分布式計算框架如Hadoop、Spark群集環境的部署、開發和管理工作,如性能改進、功能擴展、故障分析等。
薪資情況:
大數據架構師的年薪基本是30萬起,上不封頂,一般的架構師年薪四五十萬也是很常見的,但是需要很深的技術能力。