2022年4月7日,全球權威AI基準評測MLPerf™公布最新AI推理(Inference)V2.0榜單,浪潮AI服務器以最高性能獲得了數據中心(固定任務)的全部16項冠軍。
MLPerf™由圖靈獎得主大衛•帕特森(David Patterson)聯合頂尖學術機構發起成立,是國際最權威的AI性能基準評測,每年組織AI推理和AI訓練測試各兩次,以對迅速增長的AI計算需求與性能進行及時的跟蹤測評。MLPerf™比賽通常分為固定任務(Closed)和開放優化(Open)兩類任務,開放優化能力著重考察參測廠商的AI技術創新力,固定任務則因更公平地考察參測廠商的硬件系統和軟件優化的能力,成為更具參考價值的AI性能基準測試。
本次是2022年MLPerf™的首次AI推理性能評測,旨在考察在各類AI任務中,不同廠商計算系統的推理速度和能力。本次評測中,在競爭最激烈的數據中心(固定任務)賽道,共有926項成績提交,數量較上次比試翻倍,競爭非常激烈。
浪潮AI服務器創推理性能新紀錄
本次MLPerf™AI推理性能評測涵蓋使用廣泛的六大AI場景,包括圖像分類、自然語言理解、語音識別、目標物體檢測、醫學影像分割、智能推薦,每個場景采用最主流的AI模型作為測試任務,分別為ResNet50、BERT、RNNT、SSD-ResNet34、3D-Unet、DLRM。MLPerf™測試要求模型推理精度達到99%以上,對于自然語言理解、醫學影像分割和智能推薦3個任務則設置99%與99.9%兩種精度要求,以考察當提升AI推理精度要求時對計算性能的影響。
為更加貼近實際應用情況,MLPerf™推理測試在數據中心賽道下設置了離線(Offline)與在線(Server)兩種模式。離線模式代表任務所需所有數據都在本地可用,典型場景如大批量醫療影像樣本存于本地等待統一識別。在線模式則反映了大部分的即時AI應用,其數據和請求以突發和間歇的方式在線送達,例如用戶在瀏覽購物網站時智能推薦的推理請求。
浪潮AI服務器此次表現出色,以最高性能包攬了此次MLPerf™數據中心(固定任務)賽道的全部16項冠軍。
本次MLPerf™測試中,浪潮AI服務器在ResNet50模型任務中創造了每秒處理449,856張圖片的性能紀錄,相當于僅用2.8秒即完成ImageNet數據集128萬張圖片的分類;在3D-UNet模型任務中,創造了每秒處理36.25張醫療影像的新紀錄,相當于在6秒內完成對KiTS19數據集207張3D醫療影像的分割;在SSD-ResNet34模型任務中,創造了每秒對11,081.9張圖片完成目標物體識別及定位的新紀錄;在BERT模型任務中,創造了平均每秒完成38,776.7個問答的性能紀錄,在RNNT模型任務中,創造了每秒將155,811段語音轉為文字的性能紀錄,在DLRM模型任務中,則創造每秒實現2,645,980次點擊預測的最佳性能紀錄。
此外,本次MLPerf™評測還設有邊緣推理賽道,浪潮面向邊緣場景設計的AI服務器同樣表現出色,在邊緣固定任務賽道的全部17項任務中斬獲了11項冠軍。
隨著AI應用在各個行業中的持續深化,更快的推理速度,將帶來更高的AI應用效率與能力,加速產業智能化轉型。相比半年前的MLPerf™AI推理榜單V1.1,浪潮AI服務器將圖像分類、語音識別和自然語言理解任務的推理性能分別提升31.5%、28.5%及21.3%,意味著浪潮AI服務器在自動駕駛、語音會議、智能問答和智慧醫療等等場景中,能夠更高效快速地完成各類智能任務。
全棧優化能力助推AI性能持續提升
浪潮AI服務器在MLPerf™基準評測中的出色表現,得益于浪潮信息卓越的AI系統設計能力和全棧優化能力。
本次參與測評的浪潮AI服務器NF5468M6J擁有出色的系統設計,以分層可擴展計算架構在業界率先實現對12顆NVIDIA A100 Tensor Core GPU的支持,并以極佳的性能成績一舉攬獲12項冠軍。浪潮信息也是本次MLPerf™競賽中可以唯一提供服務器支持8顆500W NVIDIA A100 GPU的廠商,并實現了風冷及液冷兩種散熱方式。在此次參賽的8顆GPU NVLink高端主流機型中,浪潮AI服務器在數據中心16個任務中斬獲14項最佳成績,展現出在高端機型中的領先優勢。其中,NF5488A5是全球首批上市的A100服務器,在4U空間支持8顆第三代NVlink互聯的NVIDIA A100 GPU和2顆AMD Milan CPU。NF5688M6是面向大規模數據中心優化設計的具備極致擴展能力的AI服務器,支持8顆A100 GPU和2顆Intel Icelake CPU,支持多達13張PCIe Gen4的IO擴展卡。
在硬件層面,浪潮AI服務器通過對CPU、GPU硬件性能的精細校準和全面優化,使CPU性能、GPU性能、CPU與GPU之間的數據通路均處于對AI推理最優狀態;在軟件層面,結合GPU硬件拓撲對多GPU的輪詢調度優化使單卡至多卡性能達到了近似線性擴展;在深度學習算法層面,結合GPU Tensor Core單元的計算特征,通過自研通道壓縮算法成功實現了模型的極致性能優化。
浪潮信息是全球領先的AI計算廠商,AI服務器市場份額全球第一,連續五年以超50%的市場份額穩居中國AI服務器市場第一。浪潮信息致力于AI計算平臺、資源平臺和算法平臺的研發創新,并通過元腦生態攜手領先伙伴加速數實相融。
