【ITBEAR】小米公司近日宣布，其自研的大模型MiLM已實(shí)現(xiàn)從一代到二代的升級(jí)，新模型MiLM2在多項(xiàng)關(guān)鍵技術(shù)上取得顯著突破，進(jìn)一步提升了模型性能和應(yīng)用場(chǎng)景。
據(jù)了解，MiLM2在模型參數(shù)規(guī)模上進(jìn)行了大幅擴(kuò)充，同時(shí)優(yōu)化了數(shù)據(jù)品質(zhì)和訓(xùn)練策略。新模型不僅支持云邊端結(jié)合，參數(shù)尺寸也更為靈活，最小為0.3B，最大可達(dá)30B，滿足了不同場(chǎng)景下的需求。
在能力維度上，MiLM2相較于一代模型平均提升了超過(guò)45%。特別是在指令跟隨、翻譯和閑聊等關(guān)鍵能力上，新模型的表現(xiàn)處于業(yè)界前列。這一進(jìn)步對(duì)于小米推進(jìn)“人車家全生態(tài)”戰(zhàn)略具有重要意義，有助于提升智能生態(tài)系統(tǒng)的整體性能。
MiLM2在端側(cè)部署上也取得了新的突破。新模型支持三種推理加速方案，包括大小模型投機(jī)、BiTA和Medusa。通過(guò)自研量化方案，相較于業(yè)界標(biāo)準(zhǔn)，量化損失降低了78%。同時(shí)，新模型還支持更長(zhǎng)的窗口長(zhǎng)度，最長(zhǎng)可達(dá)200k，進(jìn)一步提升了長(zhǎng)文本處理的效果。
小米大模型團(tuán)隊(duì)還構(gòu)建了通用的能力評(píng)測(cè)集Mi-LLMBM2.0，對(duì)MiLM2進(jìn)行了全面評(píng)估。評(píng)測(cè)結(jié)果顯示，新模型在生成、腦暴、對(duì)話、問(wèn)答等多個(gè)應(yīng)用場(chǎng)景下均表現(xiàn)出色。
隨著二代大模型的迭代更新，小米在端側(cè)部署技術(shù)上也取得了新的進(jìn)展。新的4B模型已成功在端側(cè)落地應(yīng)用，進(jìn)一步提升了端側(cè)大模型的性能。同時(shí)，云端也新增了30B模型，以滿足更為復(fù)雜和多樣化的任務(wù)需求。
據(jù)悉，小米第二代自研大模型的進(jìn)步和成果已經(jīng)開(kāi)始滲透到真實(shí)的業(yè)務(wù)場(chǎng)景中。新模型不僅助力集團(tuán)內(nèi)部解決多樣化業(yè)務(wù)需求、實(shí)現(xiàn)工作提效，還已在澎湃OS、小愛(ài)同學(xué)、智能座艙和智能客服等領(lǐng)域開(kāi)始應(yīng)用落地。
