【ITBEAR】meta公司近日宣布，已正式開源其專為智能手機設計的小語言模型MobileLLM家族。此次發布不僅包含了該模型家族，還新增了600M、1B和1.5B三種參數版本，以滿足不同需求。相關項目已在GitHub上公開，供開發者訪問與參考。
據meta研究人員介紹，MobileLLM模型采用了創新的精簡架構，并引入了“SwiGLU激活函數”和“分組查詢注意力機制”，這些技術使其在保持高效運行的同時，也能展現出優異的性能表現。
在訓練速度方面，MobileLLM模型同樣表現出色。研究人員表示，在配備32顆Nvidia A100 80G GPU的服務器環境下，訓練1萬億詞的MobileLLM模型時，1.5B版本僅需18天即可完成，而較小的125M版本則只需3天。這一速度相較于同類模型而言，無疑是一個顯著的優勢。
在實際應用中，MobileLLM模型也展現出了強大的實力。據悉，MobileLLM 125M和350M兩款模型在零樣本常識理解任務中的準確率，分別比Cerebras、OPT、BLOOM等業界領先的模型高出了2.7%和4.3%。這一成績充分證明了MobileLLM模型在自然語言處理領域的優異性能。
當將MobileLLM-1.5B與業界其他參數量更大的模型進行比較時，其表現同樣令人矚目。在結果測試方面，MobileLLM-1.5B據稱領先了包括GPT-neo-2.7B、OPT-2.7B、BLOOM-3B以及Qwen 1.5-1.8B等在內的多款大型模型。
meta此次開源的MobileLLM模型家族無疑為自然語言處理領域帶來了新的突破。其精簡的架構、高效的訓練速度以及出色的性能表現，都使得該模型在未來有著廣闊的應用前景。
