【關鍵詞】大數據 浪潮服務器 通信運營商
【導讀】浪潮為國內某通信運營商搭建的大數據平臺要求存儲上億級用戶數據,業務對高并發和時延要求極為苛刻,需要單服務器每秒支持上萬次數據讀寫操作,對于整個系統性能穩定性提出了較為嚴苛的要求。浪潮基于雙路服務器NF5280M5搭載英特爾®傲騰™持久內存的解決方案,讓大數據平臺處理性能提升了2-3倍,擴容成本降低多達40%,幫助用戶有效應對復雜查詢及大數據量分析場景。
在數據堪比金礦的新時代,社會和企業數據正在快速增長,對于政府和企業,從實時數據分析中獲得洞察將有越來越重要的價值。比如疫情期間,政府能夠對大眾出行數據進行分析的 “健康碼”,密切接觸者的動態追蹤,全球醫療防護物資智能調度、復工復產情況分析等。但隨著5G、AI、物聯網、大數據的發展,如何利用數據服務于當下及未來業務,將數據轉化為真正的資產,成為很多企業當前面臨的難題。
國內某知名通信運營商下設的大數據有限公司是其全網數據對外運營的統一出口,其自主研發的UBD平臺,是以Hadoop為核心的混搭架構大數據平臺,實現了Hadoop、Spark、Storm、Redis等開源技術在實際生產服務中的規模化應用。
每秒上萬次存取操作背后,成本與性能間的矛盾
面對日劇增的數據處理業務需求,浪潮為該運營商搭建的大數據平臺要求存儲上億級用戶數據,對并發和時延要求極為苛刻,通常需要單服務器每秒支持上萬次數據存取操作,對于性能提出了較為嚴苛的要求。
IO阻塞是Spark SQL查詢的常見痛點。在混合并發查詢等場景中,由于需要訪問的表數據較多,內存很快消耗殆盡,大數據平臺常常需要將大量數據緩存到相對低速的磁盤中,導致出現顯著的磁盤IO阻塞,且CPU利用率會上升至高達100%,嚴重拖慢了系統速度,想要擴充大數據平臺的內容容量,但是隨之而來的成本的大幅增長問題又讓該運營商望而卻步。
針對這種情況,浪潮提供了以雙路服務器NF5280M5搭載英特爾®傲騰™持久內存的解決方案,傲騰持久內存在內存和存儲之間的持久內存,容量顯著大于DRAM,單一模塊可提供128GB/256GB/512GB三種規格,有效緩解內存不足的難題。
擊破I/O瓶頸,讓數據處理更高效
由于首次使用這種方案,客戶更關注服務器的穩定性、處理能力和網絡I/O能力,以及與英特爾®傲騰™持久內存的兼容性。浪潮NF5280M5支持2顆Intel的可擴展處理器,單CPU最高擁有28個內核及56線程,CPU之間采用2條10.4 GT/s UPI互連鏈路,可支持M.2和全閃,實現超高的存儲吞吐量,將I/O延時從秒、毫秒級直接降低至微秒級,在數據庫、ERP、大數據分析等應用場景可以體現極致的實際應用性能。
采用浪潮方案后,新建成的大數據平臺OAP(Optimized Analytics Package)的Spark測試結果顯示,處理性能提升了2-3倍,擴容成本降低多達40%。大數據平臺的性能提升,將助力用戶有效應對復雜查詢及大數據量分析場景,顯著改善數據分析應用延遲等方面的表現。
搭載傲騰持久內存,浪潮服務器讓新技術應用變得更簡單,在傳統內存與存儲之間架起一座橋梁,幫助用戶在靠近處理器的內存系統上加載規模遠超以往的數據集,滿足包括內存數據庫在內的,幾乎所有對大內存有要求的應用負載需求,讓更多數據的處理和分析走向實時化,釋放數據金礦更大的價值。
