【ITBEAR】摩爾線程官方今日宣布，已成功將大語(yǔ)言模型高速推理框架vLLM的MUSA移植版本上線，此舉旨在為開發(fā)者提供基于摩爾線程全功能GPU進(jìn)行開源項(xiàng)目MUSA移植的參考。
據(jù)悉，vLLM作為一款高效且便捷的大模型推理和服務(wù)框架，已在眾多大語(yǔ)言模型中發(fā)揮關(guān)鍵作用，并逐漸成為行業(yè)內(nèi)廣泛采用的開源推理框架。
摩爾線程團(tuán)隊(duì)針對(duì)vLLM v0.4.2版本進(jìn)行了詳盡的移植適配工作，為vLLM框架新增了摩爾線程GPU后端Device支持，并慷慨地將移植后的vLLM-MUSA版本開源，供開發(fā)者社區(qū)使用。
通過這一開源項(xiàng)目，開發(fā)者們能夠基于摩爾線程GPU以及vLLM-MUSA進(jìn)行更為深入的二次開發(fā)，同時(shí)也可輕松將vLLM升級(jí)至社區(qū)發(fā)布的最新版本。
摩爾線程進(jìn)一步指出，其MUSA軟件棧與CUDA軟件棧接口的高度兼容性，不僅顯著提升了應(yīng)用移植的效率，還大幅縮短了整個(gè)開發(fā)周期。為了進(jìn)一步降低開發(fā)者在MUSA平臺(tái)上進(jìn)行大語(yǔ)言模型訓(xùn)練和推理應(yīng)用適配的難度，摩爾線程還提供了一系列實(shí)用的工具和腳本，其中包括MUSIFY自動(dòng)代碼移植工具。
對(duì)于對(duì)摩爾線程GPU及vLLM-MUSA開源項(xiàng)目感興趣的開發(fā)者，可通過訪問官方GitHub倉(cāng)庫(kù)獲取更多信息和資源。附vLLM-MUSA開源地址：https://github.com/MooreThreads/vLLM_musa
此舉無(wú)疑將促進(jìn)大語(yǔ)言模型推理領(lǐng)域的技術(shù)發(fā)展，并為開發(fā)者社區(qū)帶來(lái)更多的便利與創(chuàng)新機(jī)會(huì)。
