來(lái)源：智東西
在 2022 年臺(tái)北國(guó)際電腦展（Computex）上，英偉達(dá)宣布推出液冷 A100 PCIe GPU，以滿足客戶對(duì)高性能碳中和數(shù)據(jù)中心的需求。這在主流服務(wù)器 GPU 中尚屬首例。
同時(shí)，NVIDIA 宣布多家領(lǐng)先廠商采用全球首批基于 NVIDIA 自研數(shù)據(jù)中心 CPU 的系統(tǒng)設(shè)計(jì)，并有 30 多家全球技術(shù)合作伙伴在 Computex 上發(fā)布首批基于 NVIDIA Jetson AGX Orin 的邊緣 AI 與嵌入式計(jì)算系統(tǒng)。
當(dāng)前 NVIDIA 正圍繞 CPU、GPU、DPU 這數(shù)據(jù)中心三大芯片支柱全面發(fā)展，以輔助其合作伙伴構(gòu)建實(shí)現(xiàn)新一波數(shù)據(jù)中心轉(zhuǎn)型、構(gòu)建現(xiàn)代 AI 工廠。其中，CPU 管理整個(gè)系統(tǒng)的運(yùn)行，GPU 負(fù)責(zé)提供核心計(jì)算能力，DPU 負(fù)責(zé)處理安全的網(wǎng)絡(luò)通信并提供網(wǎng)絡(luò)內(nèi)置計(jì)算能力以優(yōu)化整體性能。
NVIDIA 硬件工程高級(jí)副總裁 Brian Kelleher 透露說(shuō)，NVIDIA 將每種芯片架構(gòu)的更新節(jié)奏設(shè)定為兩年，一年將專注于 x86 平臺(tái)，一年將專注于 Arm 平臺(tái)，無(wú)論客戶與市場(chǎng)偏好如何，NVIDIA 體系架構(gòu)和平臺(tái)都將支持 x86 和 Arm。
NVIDIA 加速計(jì)算業(yè)務(wù)副總裁 Ian Buck 談道，如果世界上所有的 AI、高性能計(jì)算、數(shù)據(jù)分析工作負(fù)載都在 GPU 服務(wù)器上運(yùn)行，NVIDIA 預(yù)估每年可節(jié)省超過(guò) 12 萬(wàn)億瓦時(shí)的電力，相當(dāng)于每年減少 200 萬(wàn)輛汽車上路。
一、液冷 GPU：同等性能、更少耗電
液冷技術(shù)誕生于大型機(jī)時(shí)代，在 AI 時(shí)代日臻成熟。如今，液冷技術(shù)已經(jīng)以直接芯片（Direct-to-Chip）冷卻的形式廣泛應(yīng)用于全球高速超級(jí)計(jì)算機(jī)。NVIDIA GPU 在 AI 推理和高性能計(jì)算方面的能效已比 CPU 高出 20 倍，而加速計(jì)算也順理成章地將采用液冷技術(shù)。
NVIDIA 估算，如果將全球所有運(yùn)行 AI 和高性能計(jì)算的 CPU 服務(wù)器切換為 GPU 加速系統(tǒng)，每年可節(jié)省高達(dá) 11 萬(wàn)億瓦時(shí)的能源。節(jié)約的能源量可供 150 多萬(wàn)套房屋使用 1 年。
今日，NVIDIA 發(fā)布了率先采用直接芯片冷卻技術(shù)的數(shù)據(jù)中心 PCIe GPU。這款液冷 GPU 可在減少能耗的同時(shí)維持性能不變，現(xiàn)已進(jìn)入試用階段，預(yù)計(jì)將于今年夏季正式發(fā)布。
旗下管理超過(guò) 240 個(gè)數(shù)據(jù)中心的全球服務(wù)提供商 Equinix 已在驗(yàn)證 A100 80GB PCIe 液冷 GPU 在其數(shù)據(jù)中心的應(yīng)用，這也是該公司為實(shí)現(xiàn)可持續(xù)性冷卻和熱量捕獲的綜合性方案中的一部分。
在單獨(dú)的測(cè)試中，Equinix 和 NVIDIA 均發(fā)現(xiàn)：采用液冷技術(shù)的數(shù)據(jù)中心工作負(fù)載可與風(fēng)冷設(shè)施持平，同時(shí)消耗的能源減少了約 30%。NVIDIA 估計(jì)，液冷數(shù)據(jù)中心的 PUE 可能達(dá)到 1.15，遠(yuǎn)低于風(fēng)冷的 PUE 1.6。
在空間相同的條件下，液冷數(shù)據(jù)中心可實(shí)現(xiàn)雙倍的計(jì)算量。這是由于 A100 GPU 僅使用一個(gè) PCIe 插槽，而風(fēng)冷 A100 GPU 需使用兩個(gè) PCIe 插槽。
今年晚些時(shí)候，華碩、新華三、浪潮、寧暢、超微、超聚變等至少十幾家系統(tǒng)制造商將在其產(chǎn)品中使用液冷 GPU。
據(jù)悉，NVIDIA 計(jì)劃于明年推出的一版 A100 PCIe 卡中搭載基于 NVIDIA Hopper 架構(gòu)的 H100 Tensor Core GPU。近期內(nèi)，NVIDIA 計(jì)劃將液冷技術(shù)應(yīng)用于自有高性能數(shù)據(jù)中心 GPU 和 NVIDIA HGX 平臺(tái)。
二、數(shù)十款基于 NVIDIA Grace CPU 的服務(wù)器將于明年出貨
Grace 是 NVIDIA 首款數(shù)據(jù)中心 CPU，專為 AI 工作負(fù)載而打造。該芯片有望在明年出貨，將提供兩種外形規(guī)格。
上圖左側(cè) Grace-Hopper 是一種旨在加速大型 AI、高性能計(jì)算、云和超大規(guī)模工作負(fù)載的單一超級(jí)芯片模組，在 Grace CPU 和 Hopper GPU 之間實(shí)現(xiàn)了芯片級(jí)直連，CPU 與 GPU 通過(guò)帶寬可高達(dá) 900GB/s 的互連技術(shù) NVLink-C2C 進(jìn)行通信。
Brian Kelleher 說(shuō)，Grace 將以比任何其他 CPU 快 15 倍的速度，將數(shù)據(jù)傳輸?shù)?Hopper，并將 Hopper 的工作數(shù)據(jù)大小增至 2TB。
同時(shí)，NVIDIA 還提供將兩個(gè) Grace CPU 芯片通過(guò) NVLink-C2C 互連在一起的 Grace 超級(jí)芯片。Grace 超級(jí)芯片擁有 144 個(gè)高性能 Armv9 CPU 核心，內(nèi)存帶寬高達(dá) 1TB/s，能效是現(xiàn)有服務(wù)器的 2 倍。包括 1TB 內(nèi)存在內(nèi)的整個(gè)模組，功耗僅為 500W。
除了 NVLink-C2C 外，NVIDIA 亦支持今年早些時(shí)候發(fā)布、仍在發(fā)展完善的 chiplet 標(biāo)準(zhǔn) UCIe。
今天，NVIDIA 發(fā)布 4 種面向標(biāo)準(zhǔn)數(shù)據(jù)中心工作負(fù)載的 Grace 參考設(shè)計(jì)：1、適用于云游戲的 CGX；2、適用于數(shù)字孿生和 Omniverse 的 OVX；3、適用于高性能計(jì)算和超級(jí)計(jì)算的 HGX；4、適用于 AI 訓(xùn)練、推理和高性能計(jì)算的 HGX。
緊接著，NVIDIA 宣布推出 HGX Grace 和 HGX Grace Hopper 系統(tǒng)，將提供 Grace Hopper 和 Grace CPU 超級(jí)芯片模組及其相應(yīng)的 PCB 參考設(shè)計(jì)。兩者均為 OEM 2U 高密度服務(wù)器機(jī)箱而設(shè)計(jì)，可供 NVIDIA 合作伙伴參考與修改。
華碩、富士康工業(yè)互聯(lián)網(wǎng)、GIGABYTE、QCT、Supermicro 和 Wiwynn 的數(shù)十款服務(wù)器型號(hào)的Grace 系統(tǒng)預(yù)計(jì)將于 2023 年上半年開(kāi)始發(fā)貨。
三、首批 Jetson AGX Orin 服務(wù)器和設(shè)備發(fā)布
NVIDIA Isaac 機(jī)器人平臺(tái)有 4 個(gè)支柱：一是創(chuàng)建 AI；二是在虛擬世界中仿真機(jī)器人的操作，然后在現(xiàn)實(shí)世界中進(jìn)行嘗試；三是構(gòu)建實(shí)體機(jī)器人；四是管理已部署機(jī)器人隊(duì)列的整個(gè)生命周期。
在構(gòu)建現(xiàn)實(shí)世界的實(shí)體機(jī)器人并進(jìn)行部署方面，NVIDIA Jetson 已成為適用于邊緣和機(jī)器人的 AI 平臺(tái)，擁有超過(guò) 100 萬(wàn)開(kāi)發(fā)者、超過(guò) 150 個(gè)合作伙伴，超過(guò) 6000 家公司使用 Jetson 用于量產(chǎn)。
Jetson AGX Orin 采用 NVIDIA Ampere Tensor Core GPU、12 個(gè) Arm Cortex-A78AE CPU、下一代深度學(xué)習(xí)和視覺(jué)加速器、高速接口、更快的內(nèi)存帶寬、多模態(tài)傳感器，可提供每秒 275 萬(wàn)億次運(yùn)算性能，相當(dāng)于一臺(tái) " 掌上服務(wù)器 "。
在針腳兼容性與外形尺寸相同的情況下，其處理能力超過(guò)前代產(chǎn)品 NVIDIA AGX Xavier 8 倍。
Jetson AGX Orin 開(kāi)發(fā)者套件自 3 月開(kāi)始已通過(guò)經(jīng)銷商在全球發(fā)售，生產(chǎn)模塊將于 7 月開(kāi)始發(fā)售，起售價(jià)為 399 美元。Orin NX 模塊尺寸僅為 70 毫米 x45 毫米，將于 9 月上市。
面向邊緣 AI 和嵌入式計(jì)算應(yīng)用，研揚(yáng)、凌華、研華等全球 30 多家 NVIDIA 合作伙伴在 Computex 上發(fā)布了首批基于 NVIDIA Jetson AGX Orin 的生產(chǎn)系統(tǒng)，覆蓋服務(wù)器、邊緣設(shè)備、工業(yè) PC、載板、AI 軟件等品類。
這些產(chǎn)品將推出有風(fēng)扇和無(wú)風(fēng)扇配置并且提供多種連接和接口選項(xiàng)，并會(huì)加入適用于機(jī)器人、制造、零售、運(yùn)輸、智慧城市、醫(yī)療等重要經(jīng)濟(jì)部門或加固型應(yīng)用的規(guī)格。
為了加速 AMR 的開(kāi)發(fā)，NVIDIA 還推出用于 AMR 的先進(jìn)計(jì)算和傳感器參考設(shè)計(jì)Isaac Nova Orin。
Nova Orin 由 2 個(gè) Jetson AGX Orin 組成，支持 2 個(gè)立體攝像頭、4 個(gè)廣角攝像頭、2 個(gè) 2D 激光雷達(dá)、1 個(gè) 3D 激光雷達(dá)、8 個(gè)超聲波傳感器等多種傳感器，參考架構(gòu)將于今年晚些時(shí)候推出。
Jetson 平臺(tái)也擁有全方位的 NVIDIA 軟件支持。為了滿足特定用例的需求，NVIDIA 軟件平臺(tái)加入了：用于機(jī)器人技術(shù)的 NVIDIA Isaac Sim on Omniverse，用于構(gòu)建語(yǔ)音 AI 應(yīng)用的 GPU 加速 SDK Riva，用于 AI 多傳感器處理、視頻、音頻和圖像理解的串流分析工具包 DeepStream，以及通過(guò)整合視覺(jué)數(shù)據(jù)與 AI 提高行業(yè)運(yùn)營(yíng)效率和安全的應(yīng)用框架、開(kāi)發(fā)者工具組與合作伙伴生態(tài)系統(tǒng) Metropolis。
結(jié)語(yǔ)：極具前瞻性的 AI 時(shí)代硬件霸主
從今天的一系列新發(fā)布，我們可以看到 NVIDIA 正通過(guò)愈發(fā)全面的底層軟硬件平臺(tái)優(yōu)化及端到端解決方案，與合作伙伴一起為從邊緣到數(shù)據(jù)中心的 AI 應(yīng)用提供多樣化的技術(shù)及方案支持。
如今高性能數(shù)據(jù)中心的需求正在蓬勃生長(zhǎng)，汽車等其他系統(tǒng)也愈發(fā)追求綠色低碳，能夠顯著節(jié)省能源消耗的液冷技術(shù)已經(jīng)成為越來(lái)越多數(shù)據(jù)中心運(yùn)營(yíng)商迫切加碼的方向。NVIDIA 今日推出的液冷 GPU，正切 " 雙碳 " 大勢(shì)下的數(shù)據(jù)中心建設(shè)剛需，為計(jì)劃向液冷技術(shù)轉(zhuǎn)型的廠商們提供了具有吸引力的硬件基礎(chǔ)設(shè)施。
隨著 NVIDIA 基于 Arm 架構(gòu)研發(fā)的 Grace CPU 超級(jí)芯片和 Grace Hopper 超級(jí)芯片隨著服務(wù)器產(chǎn)品進(jìn)入數(shù)據(jù)中心，這些兼顧 AI 加速和節(jié)能需求、啟用多重創(chuàng)新技術(shù)的新作不僅有助于拓展 NVIDIA 的收入來(lái)源，也將為 Arm 在數(shù)據(jù)中心市場(chǎng)的擴(kuò)張起到關(guān)鍵的推動(dòng)作用。
而面向邊緣 AI 與機(jī)器人領(lǐng)域，首批 Jetson AGX Orin 生產(chǎn)系統(tǒng)落地后，開(kāi)發(fā)者將能借助 NVIDIA 持續(xù)打磨的工具及平臺(tái)，降低 AI 開(kāi)發(fā)部署的時(shí)間和成本，從而加速 3D 感知、多傳感器融合等應(yīng)用在各行各業(yè)的廣泛應(yīng)用與創(chuàng)新。
