近日,浙江省經信廳公布2020年浙江省軟件產業高質量發展重點項目公示名單,經過企業自主申報、地方推薦、專家評審等多個環節,憑借在技術創新性、先進性等方面的突出表現,網易數帆旗下網易易數批流一體實時數據中臺(以下簡稱"易數數據中臺")成功入選。
易數數據中臺是基于網易杭州研究院十幾年實踐經驗研發的下一代大數據一站式應用開發和管理平臺。傳統大數據計算有兩類主要對象,批計算操作的對象是離線表,而流計算操作的對象是動態的數據流。兩類計算的處理逐漸形成了兩套不同的體系,這樣不僅浪費更多的存儲空間,也使得大數據的開發成本倍增。易數數據中臺首次將批計算和流計算的編程模型進行了統一,提高了大數據應用開發的簡捷性,極大降低了開發成本和運營成本。同時,數據中臺基于批流異構數據統一管理,并研發了大規模作業調度保障技術,可以有效兼顧數據預測和基線運維能力,保障大規模復雜任務。
目前,易數數據中臺已經形成了完整的大數據解決方案,包括數據傳輸、離線開發、自助分析、任務運維中心、實時開發、數據質量中心、指標系統、數據資產中心、模型設計中心、數據地圖、數據服務、流程協作與通知中心、問答中心等多個功能模塊,可以集中管理異構大數據源并提供實時計算分析能力,將從海量數據中發掘的結果以動態可視化的形式展示,為有大數據積累的中大型企業提供數據集成、存儲、計算、分析和挖掘能力。
易數數據中臺實現支持1000個以上計算節點,單日處理數據能力達到PB級別;實時計算能力支持計算100億條數據/天的能力,可處理超過15萬條/秒的日志數據;批流統一存儲和管理,數據存儲空間降低50%,提供分鐘級數據延遲;90%的作業預測誤差在10分鐘內,作業按期完成率95%以上。網易云音樂在實際應用中,實現代碼量減少35%,物理結點節約30%,同時開發人員減少了1/2。
應用方面,網易易數與國產鯤鵬生態緊密結合,已經完成大數據兼容性測試,成為華為ISV伙伴并獲得華為鯤鵬認證。在智能制造、零售、金融、能源、醫藥、互聯網等行業領域中,易數數據中臺已得到廣泛應用,有效助力傳統企業數字化轉型升級,推動大數據產業發展。