ChatGPT持續(xù)火爆導(dǎo)致芯片短缺：沒有足夠的計(jì)算能力來處理ChatGPT的計(jì)算需求，這已經(jīng)使OpenAI的服務(wù)器過載。上一次大規(guī)模芯片短缺還是因?yàn)闉榱颂摂M貨幣瘋狂挖礦導(dǎo)致的。不過隨著對生成式人工智能需求不斷增加，這一次算力緊張的情況可能會(huì)持續(xù)相當(dāng)一段時(shí)間。
微軟希望通過一種名為ND H100 v5的新虛擬機(jī)產(chǎn)品來填補(bǔ)這一空白，其中包括大批英偉達(dá)（Nvidia）代號(hào)為Hopper的最新H100 GPU，，用于生成式人工智能應(yīng)用。
其思路是為研究生成式人工智能的公司提供更高的計(jì)算速度，這些公司能夠更深入地挖掘數(shù)據(jù)，建立關(guān)系、推理并預(yù)測答案。生成式人工智能尚處于早期階段，但ChatGPT等應(yīng)用程序大受歡迎的現(xiàn)象已經(jīng)證明該技術(shù)的巨大潛力。
但這項(xiàng)技術(shù)也需要巨大的計(jì)算能力，微軟正在將其引入Azure云服務(wù)。
虛擬機(jī)產(chǎn)品可以根據(jù)生成式人工智能應(yīng)用程序的大小進(jìn)行調(diào)整，并可擴(kuò)展到數(shù)千個(gè)H100 GPU，GPU之間通過芯片制造商的Quantum-2 InfiniBand技術(shù)互連。
Azure上配備H100虛擬機(jī)的定價(jià)并沒有立即公布。虛擬機(jī)的價(jià)格因配置而異，一臺(tái)具有96個(gè)CPU核心、900GB存儲(chǔ)和8個(gè)A100 GPU的滿載A100虛擬機(jī)每月的成本接近20000美元。
去年ChatGPT剛推出時(shí)，英偉達(dá)GPU面臨嚴(yán)峻考驗(yàn)。其計(jì)算由OpenAI超級(jí)計(jì)算機(jī)承擔(dān)，該計(jì)算機(jī)由Nvidia A100 GPU構(gòu)建。
但服務(wù)器很快被對ChatGPT瘋狂增長的需求淹沒了，用戶抱怨服務(wù)器無法及時(shí)響應(yīng)和處理查詢?nèi)蝿?wù)。
H100可以縮小生成式人工智能所需的速度差距，生成式人工智能已經(jīng)被用于醫(yī)療保健、機(jī)器人和其他行業(yè)。各開發(fā)公司也在尋求填補(bǔ)最后一公里的空白，并部署一個(gè)界面，使人工智能簡單可用，就像ChatGPT一樣。
英偉達(dá)和微軟已經(jīng)在用H100制造一臺(tái)人工智能超級(jí)計(jì)算機(jī)。GPU的設(shè)計(jì)使其能夠最好地與CUDA編碼的應(yīng)用程序配合使用（CUDA是英偉達(dá)的并行編程框架）。產(chǎn)品還包括Triton推理服務(wù)器，它將有助于在其GPU環(huán)境中部署人工智能模型GPT-3。
微軟開始在其產(chǎn)品中全面嵌入人工智能：在Bing搜索引擎中實(shí)現(xiàn)了GPT-3.5的定制版本，這是ChatGPT背后的大型語言模型。微軟正在對Bing AI采取DevOps（開發(fā)運(yùn)營）風(fēng)格的迭代方法，在這種方法中，應(yīng)用程序通過了解用戶使用模型時(shí)的信息能夠快速更新。Microsoft 365 Copilot則是嵌入了人工智能的原office套件。word、PPT和Excel這些我們熟悉的軟件將以全新能力改變傳統(tǒng)工作方法。而這一切的背后，都離不開算力的支持。
新的Azure虛擬機(jī)基本配置可以通過英偉達(dá)專有的NVLink 4.0互連將八個(gè)H100 Tensor Core GPU互連。該配置可以通過Quantum-2互連擴(kuò)展到更多的GPU。服務(wù)器具有Intel的第4代Xeon（SApphire Rapids）可擴(kuò)展處理器，通過PCIe Gen5與GPU進(jìn)行數(shù)據(jù)傳輸。
