近日,北京趨動(dòng)科技有限公司(以下簡(jiǎn)稱“趨動(dòng)科技”)與深信服正式推出聯(lián)合解決方案。聯(lián)合解決方案將深信服EDS的高性能存儲(chǔ)與趨動(dòng)科技OrionX AI算力資源池化軟件、以及Gemini AI訓(xùn)練平臺(tái)有機(jī)結(jié)合,整合存力與算力資源的同時(shí),幫助用戶建好AI平臺(tái)、管好AI資源、用好AI服務(wù)。
具體來(lái)說(shuō),聯(lián)合解決方案的推出將為AI領(lǐng)域用戶的基礎(chǔ)設(shè)施建設(shè)帶來(lái)以下改變。
1、高性能聯(lián)合方案就緒,打造更高效的訓(xùn)練平臺(tái)
隨著AI大模型建設(shè)進(jìn)度的加快,用戶對(duì)AI模型訓(xùn)練效率的要求也越來(lái)越高。但由于GPU算力資源不足和底層存儲(chǔ)小文件讀寫性能不足等問(wèn)題,訓(xùn)練平臺(tái)內(nèi)大量的訓(xùn)練任務(wù)不得不排隊(duì)等待。算力和存力上的能力缺失,拖慢了整個(gè)AI訓(xùn)練平臺(tái)的訓(xùn)練效率。
針對(duì)此種情況,聯(lián)合解決方案自上而下做了全面優(yōu)化。針對(duì)上層訓(xùn)練平臺(tái)的效率問(wèn)題,趨動(dòng)科技OrionX AI算力資源池化軟件通過(guò)打造算力資源池,幫助用戶根據(jù)任務(wù)情況靈活分配GPU資源,實(shí)現(xiàn)資源的切分、聚合、遠(yuǎn)程調(diào)用、超分、任務(wù)排隊(duì)、動(dòng)態(tài)掛載和釋放、以及國(guó)產(chǎn)芯片異構(gòu)池化等能力,充分滿足各項(xiàng)訓(xùn)練任務(wù)的算力開(kāi)銷,加速任務(wù)開(kāi)展。同時(shí),Gemini AI訓(xùn)練平臺(tái)提供的調(diào)度能力優(yōu)化了訓(xùn)練平臺(tái)的管理機(jī)制,統(tǒng)一調(diào)度下,AI模型的訓(xùn)練更加高效。
針對(duì)底層存儲(chǔ)的性能問(wèn)題,通過(guò)EDS自研的啟發(fā)式預(yù)讀機(jī)制和多活元數(shù)據(jù)服務(wù),可有效解決小文件性能難題,百億數(shù)據(jù)集規(guī)模下也可提供高速的讀寫能力,從而減少GPU的等待時(shí)間,提高短期循環(huán)訓(xùn)練的吞吐能力和訓(xùn)練效率。
2、容量與性能同步擴(kuò)展,打造高性價(jià)比的存儲(chǔ)方案
在日常的AI數(shù)據(jù)集訓(xùn)練過(guò)程中,為了讓模型更加精準(zhǔn),常常需要用海量的圖像、文本等數(shù)據(jù)對(duì)AI模型進(jìn)行訓(xùn)練。飛速增長(zhǎng)的數(shù)據(jù)給底層存儲(chǔ)的容量和性能帶來(lái)了巨大的壓力,傳統(tǒng)存儲(chǔ)高成本、低效率的擴(kuò)容模式愈發(fā)難以滿足性能和容量的需求。
憑借矩陣式存儲(chǔ)算法等全自研技術(shù),EDS在存儲(chǔ)圖文、視頻等小文件的過(guò)程中,可有效解決小文件寫放大導(dǎo)致的空間浪費(fèi)問(wèn)題,最大化利用存儲(chǔ)空間,三節(jié)點(diǎn)組成的集群即可滿足一個(gè)中等規(guī)模的AI訓(xùn)練團(tuán)隊(duì)的存儲(chǔ)需求。在性能的擴(kuò)容方面,也得益于軟件定義存儲(chǔ)的架構(gòu)優(yōu)勢(shì),EDS在進(jìn)行擴(kuò)容時(shí)可實(shí)現(xiàn)容量與性能地同步擴(kuò)展,靈活應(yīng)對(duì)AI業(yè)務(wù)快速增長(zhǎng)的性能需求。
3、統(tǒng)一管理,深度挖掘數(shù)據(jù)價(jià)值
在方案發(fā)布前,EDS已經(jīng)通過(guò)NFS CSI、S3等協(xié)議與趨動(dòng)科技的Gemini AI訓(xùn)練平臺(tái)實(shí)現(xiàn)了無(wú)縫對(duì)接。深度適配下,Kubernetes容器編排平臺(tái)可更快完成存儲(chǔ)資源的動(dòng)態(tài)分配,用戶在部署時(shí)可直接跳過(guò)針對(duì)方案的可行性研究環(huán)節(jié),快速上線AI訓(xùn)練任務(wù)。同時(shí),EDS還支持多協(xié)議間的數(shù)據(jù)互通,多類型客戶端可共用一套存儲(chǔ),各階段成果數(shù)據(jù)無(wú)須跨存儲(chǔ)拷貝即可實(shí)現(xiàn)高效流轉(zhuǎn),確保用戶在任何訓(xùn)練階段都可有效調(diào)用數(shù)據(jù)成果,更便捷地挖掘數(shù)據(jù)價(jià)值。
未來(lái),雙方還將在技術(shù)領(lǐng)域加強(qiáng)合作,以更高存儲(chǔ)性能的聯(lián)合方案助力用戶加速完成AI訓(xùn)練平臺(tái)的升級(jí)建設(shè),幫助更多用戶在AI訓(xùn)練的道路上走得更快更穩(wěn)。
關(guān)于趨動(dòng)科技:趨動(dòng)科技致力于為用戶提供全球領(lǐng)先的數(shù)據(jù)中心級(jí)AI算力虛擬化和資源池化解決方案,目前已有多家人工智能、互聯(lián)網(wǎng)、運(yùn)營(yíng)商、金融、汽車及自動(dòng)駕駛、教育等行業(yè)的頭部企業(yè)和用戶使用OrionX AI算力資源池化解決方案。
