GH200 Grace芯片搭載全球首款HBM3e處理器，可通過英偉達的NVLink技術(shù)連接其他GH200芯片，計劃明年二季度投產(chǎn)。依托該芯片的GH200 Grace Hopper平臺通過雙芯片配置將內(nèi)存容量提高3.5倍，帶寬增加三倍。HBM3e帶寬每秒5TB，比當前的HBM3快50%，可提供總共10TB/秒的組合帶寬，使新平臺能運行比前代大3.5倍的模型。
來源：華爾街見聞
生成式AI又添強大助力，英偉達升級產(chǎn)品，推出容量和速度雙雙大幅提升的超級芯片GH200 Grace，力求鞏固AI芯片領(lǐng)域的霸主地位。
發(fā)布產(chǎn)品當天，英偉達股價周二低開低走，臨近午盤時刷新日低，日內(nèi)跌幅達3%。
美東時間8月8日周二，英偉達發(fā)布新一代GH200 Grace Hopper平臺，該平臺依托于搭載全球首款HBM3e處理器的新型Grace Hopper超級芯片（下稱GH200），專為加速計算和生成式AI時代而打造。
新平臺旨在處理世界上最復(fù)雜的生成式AI工作負載，涵蓋大型語言模型、推薦系統(tǒng)和矢量數(shù)據(jù)庫，將提供多種配置。英偉達稱，GH200將于2024年第二季度投產(chǎn)。
新平臺采用的GH200可以通過英偉達的NVLink技術(shù)連接其他GH200芯片，共同部署在生成式AI的大模型上。這種技術(shù)讓GPU能充分訪問CPU內(nèi)存，在雙芯片配置時提供合計1.2TB的快速內(nèi)存。
英偉達的超大規(guī)模和高性能計算主管Ian Buck介紹，GH200比英偉達基于H100 的數(shù)據(jù)中心系統(tǒng)配備了更多內(nèi)存和帶寬。它采用的英偉達的Hopper GPU，并結(jié)合基于Arm架構(gòu)的英偉達Grace CPU。
相比前代平臺，新GH200 Grace Hopper平臺的雙芯片配置將內(nèi)存容量提高3.5倍，帶寬增加三倍，一個服務(wù)器就有144個Arm Neoverse高性能內(nèi)核、8 petaflops 的 AI 性能和282GB的最新HBM3e內(nèi)存技術(shù)。
HBM3e是一種高帶寬內(nèi)存，帶寬達每秒5TB。該內(nèi)存比當前的HBM3快50%，可提供總共每秒10TB的組合帶寬，使新平臺能運行比前代大3.5倍的模型，同時通過快三倍的內(nèi)存帶寬提高性能。
本周二，在計算機協(xié)會（ACM）計算機圖形和交互技術(shù)特別興趣組織（SIGGRAPH）的年度大會上發(fā)表主題演講時，英偉達CEO黃仁勛將GH200稱為“世界上最快的內(nèi)存”。
黃仁勛說，為了滿足生成式 AI 不斷增長的需求，數(shù)據(jù)中心需要有針對特殊需求的加速計算平臺。新的GH200 Grace Hopper 超級芯片平臺提供了卓越的內(nèi)存技術(shù)和帶寬，以此提高吞吐量，提升無損耗連接GPU聚合性能的能力，并且擁有可以在整個數(shù)據(jù)中心輕松部署的服務(wù)器設(shè)計。
黃仁勛表示，在AI時代，英偉達的技術(shù)可以替代傳統(tǒng)數(shù)據(jù)中心，投資800 萬美元的新技術(shù)可以取代用舊設(shè)備建造的1億美元設(shè)施，而且用電量可以減少20倍。“這就是數(shù)據(jù)中心在向加速計算轉(zhuǎn)變的原因。你買的越多，越省錢。”
快速創(chuàng)建生成式AI的工具包AI Workbench
除了GH200，英偉達周二還發(fā)布了新的統(tǒng)一工具包AI Workbench，以及對英偉達Omniverse軟件服務(wù)的重大升級。
AI Workbench為開發(fā)者提供了統(tǒng)一且便于使用的工具包，可在個人電腦（PC）或工作站上快速創(chuàng)建、測試和微調(diào)生成式AI模型，然后將其擴展到幾乎任何數(shù)據(jù)中心、公共云或者英偉達的DGX云。
英偉達稱，AI Workbench讓企業(yè)的AI項目入門不再復(fù)雜。通過在本地系統(tǒng)運行的簡化界面進行訪問，它讓開發(fā)者能使用自定義數(shù)據(jù)微調(diào)Hugging Face、Github 和 NGC 等常用存儲庫中的模型，然后可以在多個平臺上輕松共享模型。
借助AI Workbench，開發(fā)者只需點擊幾下即可自定義和運行生成式AI，而且他們能夠?qū)⑺斜匾钠髽I(yè)級模型、框架、軟件開發(fā)套件和庫整合到一個統(tǒng)一的開發(fā)者工作區(qū)中。
用黃仁勛的話來說就是：“人人都可以做到。”
