自ChatGPT爆火之后，AI大模型的研發層出不窮，不同種類的AI大模型也相繼推出，國內儼然已掀起狂熱的百模大戰。
作為革命性的數據模型，ChatGPT帶來的驚喜不僅僅是內容生產方式的變化，更讓業界看到了通用人工智能的希望，推動AI大模型和新應用不斷涌現。有專家稱，未來人工智能研究將有八九成將轉向大模型，我們正奔向大模型時代。
曾經算力、數據、算法是傳統AI的三要素，共同造就了人工智能的廣泛應用。但伴隨著通用人工智能時代（AGI）到來，海量數據需要進行大量的訓練和優化，以達到更高的預測準確性和泛化能力，對算力的需求早已不可同日而語。
在大模型如火如荼之際，算力供給與需求之間存在的巨大“鴻溝”仍在放大，如何解決算力“焦慮”已成為產業界著力的新目標。
算力缺口巨大
基于Transformer結構的大模型要不斷優化，就需要越來越巨量的參數“投喂”，由于訓練的參數量級的增長，致使算力需求也量級增長，算力集群正變得愈發龐大。
以ChatGPT為例，僅就算力而言，OpenAI為了訓練ChatGPT，構建了由近3萬張英偉達V100顯卡組成的龐大算力集群。以半精度FP16計算，這是一個將近4000P的算力集群。
有消息稱，GPT-4達到了100萬億的參數規模，其對應的算力需求同比大幅增加。數據顯示，大模型參數數量的增長與算力的平方成正比。
隨著投身AI大模型的公司如雨后春筍般涌現，再加上圍繞大模型的人工智能生態和由此產生的用于推理的算力需求，未來的算力缺口將更加驚人。
顯然，算力是否充足將決定各公司大模型產品的成敗。天數智芯產品線總裁鄒翾認為，對頭部企業來說，早期的GPT大模型大概需要1萬張的英偉達GPU，但迭代的大模型或至少需要數千張最先進的GPU才能完成。隨著這一領域出現眾多的跟隨者，對于跟隨企業來說，勢必要在算力上不能輸于頭部企業，甚至還要進行更多的算力基礎設施投資才能實現追趕。
壁仞科技系統架構副總裁丁云帆在人工智能行業盛會——北京智源大會發表《基于高性能通用GPU打造國產大模型訓練系統》的演講時指出，ChatGPT的成功要素在于工程和算法的協同創新，數據是燃料也是基礎，特別是高質量的數據；算法發揮引擎的作用；算力則是加速器，不止涉及超大GPU集群，存儲與網絡集群也至關重要。
由于受禁令影響，國內市場需求主力為英偉達針對中國市場推出的A800和H800，隨著需求不斷擴容，英偉達A800價格漲幅驚人，且交貨周期也被拉長，甚至部分新訂單“可能要到12月才能交付”。
所幸的是，在通用GPU領域國內諸多企業已率先布局，在芯片量產、生態構建、應用拓展領域也在步步推進，在劃時代的AIGC產業興起之際，也迎來了新的市場空間。
需算力軟硬一體
盡管面臨前所未有的新商機，但要把握住AI大模型的興起機遇，要從底層明了真正支撐大模型的算力需求。
對此鄒翾表示，從模型、計算框架層和算子加速等出發，算力要滿足三大要素，一是通用，可支持模型的快速變形、快速支持新算子、快速支持新通訊；二是易用，可利用現有算法模塊實現、調優經驗可借鑒；三是好用，可重構并行計算、訪存全交換、計算全互聯等。
而要實現這三大要素，其實背后透露更本質的邏輯。正如昆侖芯研發總監羅航直言，國內算力產業化必經三道窄門：一是量產，量產可以極大攤薄先期流片的巨大投入，通過量產攤薄成本是實現盈利的唯一方式，也是衡量芯片成熟度的指標之一；二是生態，為了讓客戶更好地開發應用，要著力構建一個合理、合適的軟件生態；三是軟硬一體產品化，要與垂直行業結合起來實現產品的價值傳遞。
此外，為了進一步支持訓練參數的海量擴展，不僅GPU廠商要有打造數千至數萬張GPU卡訓練集群的能力，同時要保證在訓練過程中能連續工作且不出故障，對產品穩定性和可靠性產生極嚴格的要求。同時，還要支持可擴展的彈性能力，實現算力彈性可擴容。
丁云帆總結，訓練千億參數大模型，客戶考量的最主要是要存得下、易擴展，此外還要求易使用、速度快、成本低。
值得一提的是，為全面助力大模型的發展，國內包括寒武紀、昆侖芯、燧原、壁仞、天數智芯、沐曦、摩爾線程等廠商也均圍繞底層技術支撐做了大量功課，通過最大化數據復用、可擴展大矩陣計算和存算異步、混合精度Transformer加速來提升芯片性能。同時，持續在基礎軟件方面提升實力。
“壁仞除在GPU算力、成本等方面著力之外，還多維切入提供強大的支撐：一是集群規模按需擴展，多個數據面并行通信，減少沖突；二是可訪問多個機器學習框架，以數據并行維度進行彈性調度，支持自動容錯和擴縮容，大大加快訓練速度，提升效率，并支持任務跨交換機遷移，降低單交換機下資源碎片，提升資源利用率，保障任務穩定性。”丁云帆表示。
生態是未來關鍵
更深層次來看，國產大模型的訓練既離不開大算力GPU的支持，也更需要構建一個軟硬一體全棧覆蓋的成熟產業生態。
進行AI大模型訓練，稱得上是一項考驗全面升級的系統工程。丁云帆介紹說，這一工程包含涉及高性能算力集群、機器學習平臺、加速庫、訓練框架和推理引擎等，需要包括CPU、存儲、通信在內的分布式硬件支持高效互聯，并與訓練框架流程實現全面的協同，同時要實現并行擴展和穩定可靠。
也正是由于這樣的需求，國產GPU要適應大模型訓練系統考量的角度就不僅限于算力基礎，如何為行業伙伴提供一站式的大模型算力及賦能服務才是終極考驗，因而生態構建也至關重要。
圍繞這一需求，國內一些GPU廠商已然先行布局，致力于打造軟硬一體的全棧大模型解決方案，在包括以大算力芯片為基礎的高性能基礎設施、智能調度管理數千GPU卡的機器學習平臺、高性能算子庫和通信庫以及兼容適配主流大模型的訓練框架層面持續發力。
為共同推進算力與大模型應用的協同創新，GPU廠商與國產大模型的產業生態也在加快合作步伐。
據悉壁仞科技已先后加入了智源研究院FlagOpen（飛智）大模型技術開源體系與智源研究院“AI開放生態實驗室”項目，并在AI大模型軟硬件生態建設領域開展了一系列合作。雙方參與的科技部科技創新2030“新一代人工智能”重大項目——“人工智能基礎模型支撐平臺與評測技術”業已取得重要進展。
此外，壁仞科技還參與了“飛槳AI Studio硬件生態專區”的建設與聯合發布，希望與包括百度飛槳在內的眾多生態合作伙伴緊密協作，結合中國AI框架與AI算力的優勢，為中國AI產業的發展提供強大驅動力。
據介紹，天數智芯的通用GPU產品廣泛支持DeepSpeed、Colossal、BM Train等各種大模型框架，基于其構成的算力集群方案也有效支持LLaMa、GPT-2、CPM等主流AIGC大模型的Pretrain和Finetune，還適配了清華、智源、復旦等在內的國內多個研究機構的開源項目。
放眼未來，AI大模型需求會持續走高，國內GPU廠商如何持續迭代產品、不斷升級算力解決方案，適配支持更高效、更復雜算法的大模型，仍將是一項持久的考驗。
【來源：集微網】
