6月20日,網易數帆旗下產品有數大數據基礎平臺(NetEase Digital Sail Youshu Data Hub ,以下簡稱NDH)正式發布。
有數大數據基礎平臺NDH是網易數帆最新推出的企業級大數據基礎平臺。該產品基于最新開源技術打造,內置多種存儲計算引擎,并在Hadoop、Spark、Impala等多個核心組件做了功能及性能增強,新增Easyeagle實現智能運維和任務治理,支持企業級安全管控。
結合網易內部在大數據領域多年的沉淀積累,有數大數據基礎平臺NDH不僅支持對核心代碼的完全掌控,并且適配信創軟硬件生態,可以更自主化、便捷化、智能化地提升企業數據運維效率,在加強數據安全保障的同時,筑牢企業智慧型“數字底座”。
為什么要做NDH?
當前國際環境仍復雜嚴峻,某些前沿技術還是有受到國際管控的風險,實現關鍵技術自主化、國產化,有助于更自由地實現技術創新。
據信通院的統計信息顯示,有超過90%的企業場景都在使用如HDP、CDH或者一些開源平臺自主搭建的大數據基礎平臺。今年3月CDH停服后,軟件后續的升級、維護更是受限。
掌握關鍵核心技術對推動我國經濟高質量發展、保障國家安全都具有十分重要的意義。近年來政府部門也相繼出臺相關政策,鼓勵國內廠商進行國產化和自主化的軟件研發。
身處數字經濟時代,企業也直觀感受到,國產化替代,并不只是簡單地替換國際廠商的軟件和IT系統,更需要有自主可控的平臺建設能力。
打造自主可控、遷移平滑的企業級大數據基礎平臺
網易數帆從企業角度出發,在滿足企業數字化轉型的同時,實現國產化系統的自主可控。此次新發布的產品有數大數據基礎平臺NDH,致力于打造自主可控的數據底座,并實現易用性、穩定性、安全性等的全面升級。
其亮點優勢主要體現在以下兩方面:
一、自主可控:強大的自主研發能力,兼容各類國產軟硬件。
在開源技術的基礎上,有數大數據基礎平臺NDH分別對Spark、Impala、Hive等多個大數據領域核心的組件進行了技術增強與安全保障,可實現對整個Hadoop基礎平臺核心代碼的完全掌控。同時,平臺還適配了信創軟硬件生態,可兼容國產數據庫、華為鯤鵬等系列芯片、麒麟操作系統(v10)所有組件的部署應用,支持在華為云、阿里云、騰訊云等場景下云化部署,滿足企業全信創類需求。
二、支持平滑遷移:提供卓越穩定的遷移方案,實現平滑遷移。
有了新的平臺之后,企業對于遷移是否平滑,影響范圍多大十分關注,尤其是金融、政府類企業。這不僅因為大數據基礎平臺的遷移需要花費人力、時間等較大成本,稍有不慎,還會導致數據丟失、業務難響應等問題。其次,遷移后上層的應用系統是否可以與替換的底層平臺完美兼容,與其他國產組件是否能實現生態兼容,實現兼容后是否可以快速響應業務發展需求等也是企業關心的問題。
因此,基于網易內部多年平滑遷移方面累積的實踐經驗,網易數帆制定出一整套平滑遷移的落地方案。
網易原廠遷移服務:整體遷移方案制定結合業務場景,在通用遷移方案基礎上根據實際業務訴求進行針對性方案調整,滿足業務實際需求。
遷移過程基本不停服:整個遷移過程原集群正常工作,權限/任務在驗證成功之后逐步遷移到新集群,整個過程基本不需要平臺整體停服。
遷移所需資源可控:整個遷移過程中任務是逐步從原集群遷移到新集群中,在遷移的過程中計算資源也可以逐步進行遷移。
遷移風險可控:整個遷移在方案上針對每個階段都會有完整的遷移驗證,部分階段會灰度遷移,爭取將風險降到最低。
這也使得在對業務不影響或者影響時間較短(< 10 min)的情況下,可以完成整體平臺遷移到有數大數據基礎平臺NDH,真正實現對業務側不造成影響。此外,遷移完成后,有數大數據基礎平臺NDH還將為企業提供額外收益,IT系統自動升級成存算分離架構建設,分別提升存儲、計算機器的資源利用率,助力企業降本增效。
實踐支撐,NDH實現組件功能的全新升級
通過自主創新,網易數帆已研發出包含有數大數據基礎平臺NDH在內的多項大數據相關產品,并已在內外部實踐應用。同時,此次發布的有數大數據基礎平臺NDH不僅可靈活兼容Hadoop體系組件,還實現了全新的功能增強,主要體現在以下三方面:
一、開發便利
通過企業級數據湖探索平臺Kyuubi ,企業可以像使用HiveServer2一樣開發SparkSQL:Spark作為整個大數據計算領域最流行的計算框架,相比原先常用的Hive,在計算性能和資源利用方面有很大的提升,但大部分用戶很難改變Hive模式下的使用習慣。有數大數據基礎平臺NDH組件支持用戶保留原有習慣和模式,基于Spark計算引擎上構建的SQL查詢引擎,支持多租戶隔離等特性,更好地實現分析計算。
二、安全穩定
增強Impala,具備高可用和隔離能力:建立基于虛擬數倉的隔離環境,支持對于同一集群中的不同節點進行分組,不同workload的業務配置不同的分組,避免業務之間相互影響;增強HDFS,盡最大可能保障數據和服務安全。有數大數據基礎平臺NDH組件可提供類似回收站的功能,支持用戶恢復數據,避免因誤操作而造成數據損失。
三、智能運維
通過Easyeagle,讓任務診斷不再遙不可及:大數據級別任務性能監控APM(Application Performance Monitor)。通過唯一標示串聯任務下發流程,精準高效定位任務運行失敗原因。
其中,智能運維作為平臺的一大創新點,是指基于任務的運行鏈路建立完整的任務分析系統。系統會將任務與機器的資源進行串接,運維人員可以快速定位到任務執行過程中涉及到的硬件資源。比如,某臺機器由于 I/O的高利用率或者CPU的高利用率,導致任務的差異化反應。通過有數大數據基礎平臺NDH的智能故障分析系統,運維人員可以快速從任務層面查詢到背后的原因,反過來也可以從整個機器的層面,反查出機器故障影響了哪些任務的運行,讓任務診斷變得快速便捷和直觀。
作為一家數字化轉型技術與服務提供商,網易數帆一直以來都堅持關鍵IT技術研發與創新,積極參與基礎軟件的國產化研究。未來,網易數帆將繼續堅定地走自主研發之路,持續技術創新,為企業IT高效、平穩運行保駕護航。