英偉達宣布其人工智能計算平臺再次打破了最新一輪MLPerf的性能記錄。這反過來又擴大了該公司在業界唯一一個衡量硬件、軟件和服務人工智能性能的獨立基準上的領先地位。
NVIDIA在第二版MLPerf Inference中贏得了針對數據中心和邊緣計算系統的所有六個應用領域的所有測試。這些測試的范圍從最初的兩個計算機視覺擴展到了四個，涵蓋了AI增長最快的領域：推薦系統、自然語言理解、語音識別和醫學成像。
各行各業的企業已經在利用NVIDIA A100 Tensor Core GPU出色的推理性能，將AI從其研究團隊帶入日常運營中。金融機構正在使用對話式AI來更快地回答客戶問題，零售商也在使用AI來保持貨架庫存。另一方面，醫療保健提供者正在使用AI分析數百萬幅醫學圖像，以更準確地識別疾病并幫助挽救生命。
MLPerf的最新結果來自NVIDIA在AI推理方面的足跡急劇增長。五年前，只有少數領先的高科技公司使用GPU進行推理。現在，通過每個主要的云端和數據中心基礎設施提供商均可使用NVIDIA的AI平臺，代表各行各業的公司都在使用其AI推理平臺來改善其業務運營并提供其他服務。
此外，與CPU相比，NVIDIA GPU現在在公共云中首次提供了更多的AI推理能力。NVIDIA GPU的云AI推理計算能力每兩年大約增長10倍。
NVIDIA將AI推論推向新的高度
NVIDIA及其合作伙伴使用NVIDIA的加速平臺提交了MLPerf 0.7結果，該平臺包括NVIDIA數據中心GPU、Edge AI加速器和NVIDIA優化軟件。
NVIDIA A100于今年早些時候推出，采用了第三代Tensor內核和多實例GPU技術，在ResNet-50測試中提高了領先優勢，在上一輪中以30倍的優勢擊敗了CPU，而現在其性能已提高了6倍。此外，根據MLPerf Inference 0.7基準測試，在針對數據中心推理的最新推薦測試中，A100的性能比最新CPU高出237倍。
這意味著單個NVIDIA DGX A100系統可以提供與大約1000個雙插槽CPU服務器相同的性能，從而使客戶在將AI推薦器模型從研究應用于生產時可以實現極高的成本效益。
基準測試還表明，NVIDIA T4 Tensor Core GPU仍然是主流企業，邊緣服務器和具有成本效益的云實例的可靠推理平臺。在相同的測試中，NVIDIA T4 GPU比CPU高出28倍。此外，NVIDIA Jetson AGX Xavier是基于SoC的邊緣設備中的性能領導者。
要獲得這些結果，需要高度優化的軟件堆棧，包括NVIDIA TensorRT推理優化器和NVIDIA Triton推理服務軟件，這兩種軟件都可以在NVIDIA的軟件目錄NGC上找到。
除了NVIDIA自己提交的文件外，還有11個NVIDIA合作伙伴使用NVIDIA GPU提交了總共1,029個結果，占數據中心和邊緣類別提交的文件總數的85％以上。
