【ITBEAR】9月25日消息,在2024百度云智大會上,百度智能云宣布了其百舸AI異構計算平臺已成功升級至4.0版本,旨在滿足大模型全旅程的算力需求,為企業提供更為高效、穩定的AI基礎設施。
據ITBEAR了解,百舸4.0版本特別針對“多芯混訓”能力進行了顯著升級,實現在萬卡規模集群上達到95%的多芯混合訓練效能,處于行業領先地位。這一升級有效解決了算力資源短缺的問題,提升了訓練效率。
在集群部署方面,升級后的百舸平臺展現出強大的工具層面優化能力,將萬卡集群的運行準備時間從數周大幅縮短至1小時,極大提升了部署效率,縮短了業務上線周期。
針對大模型訓練過程中頻繁出現的故障問題,百舸4.0版本全面升級了故障檢測手段和自動容錯機制,有效降低了故障發生頻次,大幅減少了集群故障處置時間,確保在萬卡集群上實現超過99.5%的有效訓練時長。
在模型推理方面,隨著長文本推理逐漸成為主流需求,百舸4.0版本進行了整體優化,使得長文本推理效率提升了1倍以上,顯著提升了推理速度和降低了成本。
此次百度智能云的百舸4.0版本發布,無疑為企業提供了更為強大、高效的AI基礎設施,助力企業在AI領域實現更快的發展。#百度智能云# #百舸AI異構計算平臺# #算力升級# #模型推理優化# #大模型訓練#