【ITBEAR科技資訊】4月6日消息,Alphabet旗下谷歌最新披露其訓練人工智能模型使用的超級計算機細節,這些系統的速度和能耗效率均高于英偉達的同類系統。據ITBEAR科技資訊了解,谷歌擁有自主定制的TPU芯片,其90%以上的人工智能訓練任務都通過這些芯片完成。人工智能訓練指的是為模型投喂數據,使之可以具備類似人類的文本聊天和圖片生成能力。
谷歌的超級計算機將4000多個芯片組合到一臺計算機中,這些模型必須分配到數千個芯片上運行,由這些芯片共同協作數周甚至更長時間來訓練模型。PaLM是谷歌迄今為止公開披露的規模最大的語言模型,該模型需要分配到兩臺各包含4000個芯片的超級計算機中,耗時50多天進行訓練。谷歌表示,該公司的超級計算機使之可以在運行過程中輕松對芯片間的連接進行重新配置,有助于避免問題和調整性能。
谷歌擁有自主定制的TPU芯片,其速度和能耗效率均高于英偉達的同類系統。谷歌在論文中表示,與第四代TPU同期上市的英偉達A100芯片相比,該公司的芯片速度達到A100的1.7倍,能耗效率達到A100的1.9倍。英偉達發言人拒絕對此置評。谷歌表示,他們并沒有將第四代TPU與英偉達現有的H100旗艦芯片進行對比,這是因為后者發布時間較晚,而且采用了更新的技術。谷歌暗示,他們可能正在開發能夠與英偉達H100抗衡的新一代TPU,但并未披露細節信息。喬皮接受采訪時表示,谷歌擁有“未來芯片的健康管線”。