微軟與OpenAI合作后的第一個成果已經重磅發布!
它是一臺擁有超過28.5萬個CPU核心、1萬個GPU、每GPU擁有400Gbps網絡帶寬的單一系統超級計算機!
去年,微軟宣布將向OpenAI投資10億美元,以共同開發用于Microsoft Azure云平臺的新技術,并“進一步擴展”大規模AI功能,以“兌現人工智能”的承諾。作為交換,OpenAI同意將其部分知識產權許可給微軟,然后該公司將其商業化并出售給合作伙伴,并在OpenAI致力于開發下一代計算硬件時在Azure上訓練和運行AI模型。
今年的微軟Build 2020開發者大會完全轉到了線上,會上微軟宣布與OpenAI獨家合作打造了一臺與當前最新的“全球超算500”列表(該項目對500臺性能最佳的超級計算機進行了基準測試和詳細介紹)對比,性能位居前五的超級計算機,該計算機專門用來在Azure公有云上訓練超大規模的AI模型。
實現超大規模AI模型
得益于在Azure上托管,這臺超級計算機擁有現代云計算基礎設施的各種優點,包括快速部署、可持續發展的數據中心、并可以訪問所有Azure服務。相比以往的單獨AI模型訓練單獨任務,超級計算機可以實現更高級別的超大規模人工智能模型,深入了解語言語法、知識概念中的差別,完成復雜的任務。
舉例來說,可以總結冗長的講話,可以從上千份法律文件中找到相關陳述,可以直接從GitHub上找到代碼。
微軟今年2月推出的針對自然語言的圖靈模型已經全球最大的AI語言模型。通過Azure人工智能服務和GitHub開源社區,將大型AI模型、優化訓練工具和超級計算機資源開放出來,讓開發者、數據科學家和商業用戶都能輕松利用這一超大規模的人工智能平臺,開發自己的項目。
為AGI鋪路?
OpenAI很久以來就斷言,巨大的計算能力是邁向AGI或AI的必經之路,AGI可以學習人類可以完成的任何任務。
雖然像Mila創始人Yoshua Bengio和Facebook副總裁兼首席AI科學家Yann LeCun 這樣的名人認為 AGI不存在,但OpenAI的聯合創始人和支持者-其中包括Greg Brockman,首席科學家Ilya Sutskever,Elon Musk,Reid Hoffman和前Y Combinator總裁Sam Altman-相信功能強大的計算機結合強化學習和其他技術可以實現范式轉移的AI進步。
超級計算機的發布代表了OpenAI在該愿景上的最大賭注。
無論采用何種形式,目前尚不清楚新的超級計算機是否具有足夠的功能來實現任何接近AGI的功能。
去年,Brockman接受英國《金融時報》采訪時表示,OpenAI預計將在2025年之前花費微軟公司10億美元的全部投資,構建一個可以運行“人腦大小的AI模型”的系統。2018年,OpenAI自己的研究人員發布了一份分析報告,顯示從2012年到2018年,最大規模的AI訓練運行中使用的計算量增長了300,000倍,而3.5個月的時間卻翻了一番,遠遠超過了摩爾定律的步伐。上周,在此基礎上,IBM詳細介紹了神經計算機,該公司使用數百種定制設計的芯片在創紀錄的時間內訓練Atari播放AI,Nvidia宣布了一款基于其A100 Tensor Core顯卡(稱為A100)的5 petaflop服務器。
有證據表明,效率的提高可能會抵消不斷增長的計算需求。OpenAI的另一項更近期的調查發現,自2012年以來,在流行基準(ImageNet)中將AI模型訓練為具有相同性能以對圖像進行分類所需的計算量每16個月減少了兩倍。但是與新穎的算法方法相比,計算在多大程度上有助于提高性能仍然是一個懸而未決的問題。