3月21日，在巴黎舉辦的云原生頂級峰會KubeCon + CloudNativeCon Europe 2024上 ，華為云首席架構師顧炯炯在“Cloud Native x AI：以持續開源創新開啟智能時代”的主題演講中指出，云原生和AI技術的融合，是推動產業深刻變革的關鍵所在。華為云將持續進行開源創新，與開發者共啟智能時代。
華為云首席架構師顧炯炯發表演講
AI對于云原生范式提出關鍵挑戰
在過去的幾年里，云原生徹底改變了傳統的IT系統，催化了互聯網和政府服務等領域的數字飛躍。云原生范式帶來的新的可能性，例如閃電般的快速銷售和基于微服務治理的敏捷應用DevOps，已經深入人心。同時，人工智能的快速發展和廣泛采用，包括大規模模型，已經成為行業智能的跳動心臟。
根據Epoch 2023年的調研數據，基礎模型所需的計算能力每18個月就會增長10倍，是摩爾定理揭示的通用計算能力增長率的5倍。AI帶來的新摩爾定律和大規模AI模型的主導地位對云原生范式提出了挑戰，顧炯炯總結了其中關鍵的4點：低GPU/NPU平均利用率導致AI訓練和推理的高成本。其次，大模型訓練集群頻繁的失敗率限制了訓練效率。第三，大規模模型的復雜配置導致AI開發門檻高。第四，大規模的AI推理部署面臨著不可預測的最終用戶訪問延遲和數據隱私問題的風險。
華為云AI創新為開發者迎接挑戰提供思路
隨著AI模型變得越來越大，對計算能力的需求也呈指數級增長。這種需求不僅給云原生技術帶來了挑戰，也為業界提供了創新機遇。顧炯炯分享了一些華為云在AI創新方面的故事，為開發者解決這些挑戰提供了參考。
在云原生邊緣計算平臺KubeEdge的基礎上，華為云實現了一個云原生多機器人調度管理平臺。用戶可以通過自然語言命令在云端輸入任務指令，由系統協調邊緣的多個機器人共同協作完成復雜任務。為了克服自然語言命令理解、大量機器人高效調度管理以及跨類型機器人訪問管理的三個挑戰，該系統采用了云端、邊緣節點和機器人三個部分的架構，通過大模型執行自然語言命令，并進行流量預測、任務分配和路由規劃。這一架構顯著提高了機器人平臺的靈活性，管理效率提升25%，系統部署周期縮短30%，新機器人的部署時間從月級縮短到天級。
中國某頂級內容分享社區，每月活躍用戶超過1億。它的核心服務之一是主頁上的推薦功能。推薦模型有近1000億個參數。訓練集群有數千個計算節點。一個訓練作業需要數百個參數服務器和worker。因此，該社區對最優拓撲調度、高性能、高吞吐量有著強烈的需求。開源項目Volcano可以更好地支持在Kubernetes上運行的AI/ML工作負載，并提供了一系列作業管理和高級調度策略。Volcano項目引入了拓撲感知調度、裝箱、SLA感知調度等算法，幫助社區將整體訓練性能提升了20%，運維復雜度也大大降低。
Serverless AI引領云原生發展趨勢
如何高效、穩定地運行AI應用，同時降低運營成本，成為擺在眾多企業和開發者面前的一大挑戰。為此，華為云總結了云原生AI平臺的關鍵要求，提出了一種全新的云原生AI平臺理念——Serverless AI。
顧炯炯提到，從開發者的視角來看，Serverless AI致力于智能地推薦并行策略，讓復雜的訓練和推理任務變得輕而易舉。它提供自適應的GPU/NPU自動擴展功能，能夠根據工作負載的實時變化動態調整資源分配，確保任務的高效執行。同時，Serverless AI還維護著一個無故障的GPU/NPU集群，讓開發者無需擔心硬件故障帶來的中斷風險。更該平臺保持與主流AI框架的兼容性，讓開發者能夠無縫集成現有的AI工具和模型。
對于云服務提供商而言，Serverless AI同樣具有深遠的意義。它不僅能夠提高GPU/NPU的利用率，使訓練、推理和開發混合工作負載得以高效運行，還能通過優化能效實現綠色計算，降低能耗成本。此外，Serverless AI平臺還能實現跨多個租戶的空間和時間GPU/NPU共享，提高資源的復用率。最重要的是，它為訓練和推理任務提供了有保證的QoS和SLA，確保了服務質量和穩定性。
Serverless AI平臺采用了構建在操作系統和虛擬化之上的靈活的資源調度層，將應用程序框架的關鍵功能封裝于應用資源中介層中。顧炯炯現場展示了Serverless AI平臺的參考架構。他認為，這種架構設計，使得Serverless AI平臺具有了大規模AI資源自動驅動引擎的特點，包括精確了解應用資源利用模式的資源分析，實現異構硬件資源池化的資源共享，基于GPU/NPU虛擬化和負載熱遷移的AI訓練任務容錯能力，以及提高資源利用率的多維度調度和自適應彈性伸縮等優點。
分論壇上，華為云技術專家提到，Kubernetes 上運行 AI/ML 工作負載的使用量不斷增加，許多公司在分布于數據中心和各種 GPU 類型的多個 Kubernetes 集群上構建云原生 AI 平臺。 使用Karmada和Volcano，可輕松實現多集群的GPU工作負載智能調度、集群故障轉移支持，在保障集群內和跨集群的兩級調度一致性和效率，并平衡系統整體資源的利用率和不同優先級工作負載的 QoS，以應對大規模、異構的 GPU 環境管理中面臨的挑戰。
Karmada為多云和混合云場景中的多集群應用管理提供即時可用的自動化管理，越來越多的用戶在生產環境中使用Karmada構建靈活高效的解決方案。Karmada已于2023年正式升級為CNCF孵化項目，期待與更多伙伴與開發者們共建繁榮社區。
針對AI分布式訓練和大數據場景，Volcano Gang Scheduling解決了分布式訓練任務中的無休止等待和死鎖問題, 任務拓撲和IO感知的調度，將分布式訓練的傳輸延遲降至最低，性能提升31%，minResources解決了高并發場景下Spark driver和executor之間的資源競爭問題，合理規劃了并行度，性能提升39.9%。
“云原生技術的敏捷性和異構AI計算平臺的創新性，將是提升AI生產力的關鍵。” 顧炯炯談到，未來，華為云將持續致力于開源創新，與業界同仁、伙伴共同開啟智能時代的新篇章。
