【ITBEAR】meta公司近日宣布，已正式開源其專為智能手機(jī)設(shè)計(jì)的小語言模型MobileLLM家族。此次發(fā)布不僅包含了該模型家族，還新增了600M、1B和1.5B三種參數(shù)版本，以滿足不同需求。相關(guān)項(xiàng)目已在GitHub上公開，供開發(fā)者訪問與參考。
據(jù)meta研究人員介紹，MobileLLM模型采用了創(chuàng)新的精簡架構(gòu)，并引入了“SwiGLU激活函數(shù)”和“分組查詢注意力機(jī)制”，這些技術(shù)使其在保持高效運(yùn)行的同時(shí)，也能展現(xiàn)出優(yōu)異的性能表現(xiàn)。
在訓(xùn)練速度方面，MobileLLM模型同樣表現(xiàn)出色。研究人員表示，在配備32顆Nvidia A100 80G GPU的服務(wù)器環(huán)境下，訓(xùn)練1萬億詞的MobileLLM模型時(shí)，1.5B版本僅需18天即可完成，而較小的125M版本則只需3天。這一速度相較于同類模型而言，無疑是一個(gè)顯著的優(yōu)勢。
在實(shí)際應(yīng)用中，MobileLLM模型也展現(xiàn)出了強(qiáng)大的實(shí)力。據(jù)悉，MobileLLM 125M和350M兩款模型在零樣本常識理解任務(wù)中的準(zhǔn)確率，分別比Cerebras、OPT、BLOOM等業(yè)界領(lǐng)先的模型高出了2.7%和4.3%。這一成績充分證明了MobileLLM模型在自然語言處理領(lǐng)域的優(yōu)異性能。
當(dāng)將MobileLLM-1.5B與業(yè)界其他參數(shù)量更大的模型進(jìn)行比較時(shí)，其表現(xiàn)同樣令人矚目。在結(jié)果測試方面，MobileLLM-1.5B據(jù)稱領(lǐng)先了包括GPT-neo-2.7B、OPT-2.7B、BLOOM-3B以及Qwen 1.5-1.8B等在內(nèi)的多款大型模型。
meta此次開源的MobileLLM模型家族無疑為自然語言處理領(lǐng)域帶來了新的突破。其精簡的架構(gòu)、高效的訓(xùn)練速度以及出色的性能表現(xiàn)，都使得該模型在未來有著廣闊的應(yīng)用前景。
