微軟超級(jí)計(jì)算機(jī)使用了上萬顆英偉達(dá)GPU
北京時(shí)間3月14日消息，人工智能聊天機(jī)器人ChatGPT一經(jīng)推出便火爆全球，但外界可能不知道，ChatGPT之所以能夠如此智能，背后依托的是微軟公司為它打造的一臺(tái)昂貴的超級(jí)計(jì)算機(jī)。
2019年，當(dāng)微軟向ChatGPT開發(fā)商OpenAI投資10億美元時(shí)，它同意為這家人工智能研究創(chuàng)業(yè)公司打造一臺(tái)龐大的尖端超級(jí)計(jì)算機(jī)。唯一的問題是：微軟沒有OpenAI需要的那樣的東西，也無法完全確定它能在Azure云服務(wù)中構(gòu)建這么大的東西而不會(huì)破壞它。
當(dāng)時(shí)，OpenAI正試圖訓(xùn)練一套規(guī)模越來越大的人工智能程序，也就是“模型”，后者正在吸收越來越大的數(shù)據(jù)量，學(xué)習(xí)越來越多的參數(shù)。這些參數(shù)是人工智能系統(tǒng)通過訓(xùn)練和再訓(xùn)練得出的變量。這意味著，OpenAI需要在很長一段時(shí)間內(nèi)使用強(qiáng)大的云計(jì)算服務(wù)。
上萬顆芯片、數(shù)億投資
為了克服這一挑戰(zhàn)，微軟不得不想辦法將數(shù)萬顆英偉達(dá)A100圖形芯片(訓(xùn)練人工智能模型的主力)組合在一起，并改變服務(wù)器在機(jī)架上的位置以防止斷電。微軟負(fù)責(zé)云計(jì)算和人工智能的執(zhí)行副總裁斯科特·格思里(Scott Guthrie)不愿透露該項(xiàng)目的具體成本，但表示“可能不止”幾億美元。
“我們構(gòu)建了一個(gè)可以在超大規(guī)模范圍內(nèi)運(yùn)行并且可靠的系統(tǒng)架構(gòu)。 這就是ChatGPT成為可能的原因，”微軟Azure人工智能基礎(chǔ)設(shè)施總經(jīng)理尼迪·查普爾(Nidhi Chappell)表示，“它是從中得出的一個(gè)模型，未來還會(huì)有很多很多其他的模型。”
英偉達(dá)A100造價(jià)1萬美元
這項(xiàng)技術(shù)幫助OpenAI發(fā)布了ChatGPT，后者在去年11月發(fā)布幾天后就吸引了100多萬用戶，現(xiàn)在正被納入其他公司的商業(yè)模式，從億萬富翁對(duì)沖基金創(chuàng)始人肯·格里芬(Ken Griffin)運(yùn)營的公司，到外賣公司Instacart。隨著ChatGPT等生成式人工智能工具越來越受到企業(yè)和消費(fèi)者的興趣，微軟、亞馬遜公司和谷歌等云服務(wù)提供商將面臨更大的壓力，需要確保他們的數(shù)據(jù)中心能夠提供所需的巨大計(jì)算能力。
現(xiàn)在，微軟使用它為OpenAI構(gòu)建的同一套資源來訓(xùn)練和運(yùn)行自己的大型人工智能模型，包括上個(gè)月推出的新必應(yīng)搜索機(jī)器人。微軟還向其他客戶銷售該系統(tǒng)。作為微軟與OpenAI擴(kuò)大合作協(xié)議，追加100億美元投資的一部分，該軟件巨頭已經(jīng)在研究下一代人工智能超級(jí)計(jì)算機(jī)。
“我們不想把它打造成定制產(chǎn)品，它一開始是一個(gè)定制產(chǎn)品，但我們總是想辦法把它打造成通用型產(chǎn)品，這樣任何想訓(xùn)練大型語言模型的人都可以利用同樣的改進(jìn)，”格思里在一次采訪中表示，“這真的能夠幫助我們成為使用更廣泛的人工智能云。”
訓(xùn)練一個(gè)龐大的人工智能模型需要在一個(gè)地方擁有大量相互連接的圖形處理單元，就像微軟組裝的人工智能超級(jí)計(jì)算機(jī)一樣。一旦模型投入使用，回答用戶提出的所有查詢——稱之為推理——需要稍微不同的設(shè)置。微軟還部署了用于推理的圖形芯片，但這些成千上萬個(gè)處理器在地理上分散在公司的60多個(gè)數(shù)據(jù)中心區(qū)域。微軟周一在一篇博客文章中表示，現(xiàn)在該公司正在為人工智能工作負(fù)載添加最新的英偉達(dá)圖形芯片H100，以及最新版本的英偉達(dá)Infiniband網(wǎng)絡(luò)技術(shù)，以更快地共享數(shù)據(jù)。
微軟Azure云服務(wù)
目前，新必應(yīng)搜索仍處于預(yù)覽階段。微軟正在從等待名單中逐漸增加更多用戶。格思里的團(tuán)隊(duì)每天與大約24員工舉行會(huì)議，后者被稱之為“后勤維修人員”，這一稱呼原指一群在比賽中調(diào)整賽車的機(jī)械師。該小組的工作是弄明白如何讓更強(qiáng)的計(jì)算能力快速上線，以及解決突然出現(xiàn)的問題。
“這很像是一種碰頭會(huì)，就像是，‘嘿，任何人都有好主意，讓我們今天把它放在桌面上討論它，弄清楚好吧，我們可以在這里節(jié)省幾分鐘嗎？ 我們可以節(jié)省幾個(gè)小時(shí)嗎？ 幾天？’”格思里表示。
小錯(cuò)會(huì)釀成大禍
云服務(wù)依賴的是成千上萬個(gè)不同的部件和物品，包括服務(wù)器的各個(gè)部件、管道、建筑物的混凝土、不同的金屬和礦物，任何一個(gè)部件的推遲或供應(yīng)不足，無論多么微小，都可能導(dǎo)致功虧一簣。最近，維修人員不得不處理電纜托盤的短缺問題。電纜托盤是一種籃子狀的精巧裝置，用來固定從機(jī)器上脫落的電纜。因此，他們?cè)O(shè)計(jì)了一種新的電纜托盤，使得微軟可以自己制造，也可以找地方購買。格思里說，他們還在研究如何盡可能多地壓縮世界各地現(xiàn)有數(shù)據(jù)中心的服務(wù)器，這樣他們就不必等待新的大樓了。
當(dāng)OpenAI或微軟訓(xùn)練一個(gè)大型AI模型時(shí)，這些工作是一次性完成的。它被分配到所有的GPU上，某些時(shí)候各個(gè)單元需要相互交流來分享它們所做的工作。對(duì)于人工智能超級(jí)計(jì)算機(jī)，微軟必須確保處理所有芯片之間通信的網(wǎng)絡(luò)設(shè)備能夠處理這種負(fù)載，并且必須開發(fā)出能夠充分利用GPU和網(wǎng)絡(luò)設(shè)備的軟件。該公司現(xiàn)在推出了一款軟件，可以訓(xùn)練具有數(shù)十萬億個(gè)參數(shù)的模型。
由于所有機(jī)器都是同時(shí)啟動(dòng)的，微軟不得不考慮它們的放置位置和電源的位置。格思里說，否則，你最終會(huì)得到數(shù)據(jù)中心版本的結(jié)果，就像你在廚房里同時(shí)打開微波爐、烤面包機(jī)和吸塵器一樣。
新一代超級(jí)計(jì)算機(jī)
微軟Azure全球基礎(chǔ)設(shè)施總監(jiān)阿利斯泰爾·斯皮爾斯(Alistair Speirs)表示，該公司還必須確保能夠?yàn)樗羞@些機(jī)器和芯片降溫，并在較冷的氣候條件下使用蒸發(fā)、室外空氣，在炎熱的氣候條件下使用高科技沼澤冷卻器。
格思里稱，微軟將繼續(xù)開發(fā)定制服務(wù)器和芯片設(shè)計(jì)，并想辦法優(yōu)化供應(yīng)鏈，以盡可能地提高速度、效率和節(jié)省成本。
“現(xiàn)在讓世界驚嘆的模型是建立在我們幾年前開始建造的超級(jí)計(jì)算機(jī)上的。新的模型將建立在我們正在訓(xùn)練的新型超級(jí)計(jì)算機(jī)上，這臺(tái)計(jì)算機(jī)更大，也更精密。”
【來源：鳳凰網(wǎng)科技】
