9月23日,全球權威AI基準評測MLPerf™公布最新榜單Inference(推理)V1.1,在最受關注的固定任務(Closed)測試中,浪潮獲得15項冠軍,戴爾、高通、英偉達分別獲得8項、5項和4項冠軍。
MLPerf™是影響力最廣的國際AI性能基準評測,由圖靈獎得主大衛•帕特森(David Patterson)聯合頂尖學術機構發起成立。2020年,非盈利性機器學習開放組織MLCommons基于MLPerf™基準測試成立,其成員包括谷歌、Facebook、英偉達、英特爾、浪潮、哈佛大學、斯坦福大學、加州大學伯克利分校等50余家全球AI領軍企業及頂尖學術機構,致力于推進機器學習和人工智能標準及衡量指標。目前,MLCommons每年組織2次MLPerf™AI訓練性能測試和2次MLPerf™AI推理性能測試,為用戶衡量設備性能提供權威有效的數據指導。
MLPerf™推理V1.1 AI基準測試固定任務(Closed)包括數據中心(共16個項目)和邊緣(共14個項目)兩大場景。在數據中心場景下設置6個模型,分別是圖像識別(ResNet50)、醫學影像分割(3D-UNet)、目標物體檢測(SSD-ResNet34)、語音識別(RNN-T)、自然語言理解(BERT)以及智能推薦(DLRM),其中Bert、DLRM和3D-Unet設有高精度(99.9%)模式。除3D-UNet模型任務只考察Offline離線推理場景性能外,其他模型任務按照Server在線推理和Offline離線推理兩種應用場景分別進行性能測試。邊緣場景AI模型在數據中心場景的6個模型基礎上刪減了智能推薦(DLRM)模型,并增加目標物體檢測(SSD-MobileNet)模型,所有模型均有Offline離線推理場景和SingleStream單流推理兩個場景。
固定任務(Closed)要求參賽各方使用相同模型和優化器,這對于實際用戶評測AI計算系統性能具備很強的參考意義,也一直是MLPerf™中角逐最激烈及主流廠商最關注的領域。此次共有英偉達、英特爾、浪潮、高通、阿里巴巴、戴爾、HPE等19家廠商參與到固定任務(Closed)測試競賽中,其中數據中心場景收到了754項成績提交,邊緣場景收到了448項成績提交,共1199項成績提交。
在固定任務的全部30個項目中,浪潮獲得15項冠軍,位居冠軍數量第一,這也是浪潮連續第四次位居MLPerf™AI基準測試冠軍數量榜首。
此次MLPerf™的開放任務(Open)賽道允許參賽方對模型進行任意處理,參加者有cTuning、Krai等6家廠商,數量較上屆有下降。此外,本次MLPerf™還共有NVIDIA、浪潮、高通以及戴爾等5家廠商在功耗任務上提交了結果,功耗評測或將成為未來MLPerf™的關注重點之一。
