今年以來,大模型成為當之無愧的風口,據不完全統計,國內已發布的各類大模型數量超過 100 個, 呈現出“百模大戰”的態勢。資本也聞風趕來,天眼查 APP 顯示,今年上半年與大模型直接相 關的融資事件超 20 起。
大模型愈演愈烈, 隨之催生了海量的 AI 算力需求。截至 2022 年底,我國算力總規模達 180EFLOPS , 目前居全球第二位,并保持30%的年增長率。據測算 ,2023 年我國算力核心產 業規模有望突破 2 萬億元。
雖然算力行業總體蓬勃發展,但面對大模型浪潮之下激增的算力需求, 目前英偉達的產能有 限, 加之受限于臺積電的產能以及內存供應商等限制, GPU 的產能不會暴漲, 旺盛的需求和
GPU 的短缺,造成了行業存在巨大 AI 算力缺口, “搶卡”現象仍在持續。
如何破解大模型“算力荒”成為擺在算力服務商面前的共同命題。
“看不見”的超算,“看得見”的好用
眾所周知,大模型是“燒錢”的業務,而“燒錢”的原因最主要是當前每次大模型訓練所需要的 算力非常之高。
以 ChatGPT 為例,根據 OpenAI 公開數據推測,如果每秒 1000 萬億次的計算,每次模型訓 練也需要 3640 天的計算能力。
僅單次訓練任務都需要數百張甚至數千張 GPU 卡做計算加速,例如A100、A800、H800 等, 同時還需要長周期、穩定可靠的計算環境來保障計算任務不中斷,盡管開發者會加入很多的 checkpoint,但發生故障后在時間、精力和成本方面的代價都不小。
這樣的大模型訓練場景對算力提出了架構互通、高速互聯的需求,考驗規模性算力資源在短 時 間內的計算“爆發力”。
而過去的云計算架構主要是分布式架構,主流的云計算服務器之間的網絡帶寬在 200Gbps, 但大模型的一些訓練需求服務器之間的互聯網帶寬一般要求達到 3200Gbps,兩者相差十幾 倍。
過去的超算架構又主要以 CPU 為主,傳統基礎設施架構下的算力已經無法滿足大模型時代 的需求,只有建設大規模 GPU 超算集群才可以滿足大模型的算力需求。
大規模 GPU 超算集群,顧名思義,將大量 GPU 資源組成算力集群來應對極高的密集性計算, 其浮點運算速度能夠達到千萬億次每秒,同時具備高速互聯計算網絡、高性能文件存儲和強勁 的 GPU 算力。
可以說,大規模 GPU 超算集群更加貼合大模型訓練場景,并行科技董事長陳健也曾公開表 示: “大模型的訓練本質上就是一個超大的訓練任務,比如在 1000 張 GPU 卡上跑兩三個月, 就 是一個典型的超算應用場景。”
超萬 P 超算架構大模型算力“及時雨”解決“算力荒”
據 OpenAI 測算,全球 AI 訓練所用的計算量呈現指數級增長,平均每 3.43 個月便會增長一 倍,過去幾年計算需求量已擴大 30 萬倍,遠超算力增長速度。
GPU 卡資源也始終緊張,大模型競賽已經推高了市場對 GPU 的需求。盡管有一些公司即使 暫時還不需要 GPU,但由于擔心未來,也會開始提前儲備。相當于“對供應短缺的預期加重 了供應短缺”。
有相關人士預測至少到 2023 年底,對于要部署數百或數千的 H100/H800 的企業都會面臨 短缺問題,目前看來, GPU 的短缺可能會持續到 2024 年。
為緩解 GPU 卡資源緊張問題,作為超算架構大模型算力網絡先行者的并行科技計劃將在 2023 年底前,以“算力網絡”為依托,上線超萬 P 超算架構大模型算力,為大模型行業帶來 GPU 資源“及時雨”。
具體來說,并行科技通過云主機、高性能集群和裸金屬三大產品體系支撐,基于高性能計算 環境 構建 GPU 算力服務平臺,以滿足大規模預訓練、微調、高并發推理和高精度科學計算中對 計算、存儲、網絡等環節的多樣性需求。
不過,對大模型訓練來說,解決 GPU 卡的資源問題只是第一步。面對訓練時的大規模計算 需求, 在近日舉辦的 CCF HPC China 2023 大會上,并行科技介紹了一套集資源、技術、服 務、運維于一體的綜合行業解決方案。專家團隊 7×24 小時在線服務,針對模型框架的安裝、 部署、優化以及長時間運行的保障訴求等提供在線技術支持,讓終端用戶輕松調度算力資源。
陳健表示:“我們主要通過技術服務、應用服務以及性能優化,幫助客戶提升訓練效率。我們最主 要的優勢體現在:一、確保用戶有 GPU 卡可以用;二、通過技術服務讓客戶感到高性能、好 用;三、通過算力優化降低用戶用 GPU 卡的成本并提升效率。”
此前, AI 領域知名企業重點項目便是經過并行科技應用服務團隊的調優,使單個 512 卡大 模型訓練任務性能提升了約40%,實現算力從“可用”向“好用”轉化的同時,成本投入大幅降 低。
根據沙利文的研究報告顯示, 2021 年通用超算云業務營收排行榜,并行科技排名第一,市 場占有率超過20%。目前,大模型行業正處在發展的關鍵階段,而算力作為剛需生產力之一,重要性不言而喻, 一家合適、優質的算力服務商甚至成為其成長的關鍵助推器。
