【ITBEAR】8月26日消息，在人工智能領(lǐng)域，一場(chǎng)關(guān)于模型規(guī)模的變革正在悄然發(fā)生。長(zhǎng)久以來，科技巨頭們競(jìng)相追逐龐大語言模型的開發(fā)，但如今，小型語言模型（SLM）正逐步嶄露頭角，挑戰(zhàn)著“規(guī)模越大越好”的傳統(tǒng)觀念。
據(jù)ITBEAR了解，8月21日，微軟和英偉達(dá)分別發(fā)布了其最新的小型語言模型——Phi-3.5-mini-instruct和Mistral-NeMo-Minitron8B。這兩款模型因在計(jì)算資源使用和功能表現(xiàn)之間找到了良好的平衡點(diǎn)而備受矚目，在某些方面的性能甚至能與大型模型相媲美。
人工智能初創(chuàng)公司Hugging Face的首席執(zhí)行官Clem Delangue指出，高達(dá)99%的使用場(chǎng)景都可以通過SLM來解決，并預(yù)言2024年將是SLM的崛起之年。據(jù)統(tǒng)計(jì)，包括meta、微軟、谷歌在內(nèi)的科技巨頭今年已經(jīng)發(fā)布了多達(dá)9款小型模型。
SLM的興起并非偶然現(xiàn)象，而是與大模型（LLM）在性能提升與資源消耗方面面臨的挑戰(zhàn)密切相關(guān)。AI初創(chuàng)公司Vellum和Hugging Face今年4月發(fā)布的性能比較顯示，頂級(jí)LLM之間的性能差距正在迅速縮小，特別是在特定任務(wù)中，如多項(xiàng)選擇題、推理和數(shù)學(xué)問題，模型之間的差異極小。
Uber AI的前負(fù)責(zé)人Gary Marcus指出：“盡管普遍認(rèn)為GPT-4相比GPT-3.5有所進(jìn)步，但此后的一年多里并未出現(xiàn)質(zhì)的飛躍。”與有限的性能提升相比，LLM的訓(xùn)練成本卻在不斷攀升。這些模型需要海量數(shù)據(jù)和數(shù)以億計(jì)甚至萬億個(gè)參數(shù)，導(dǎo)致了極高的資源消耗。訓(xùn)練和運(yùn)行LLM所需的計(jì)算能力和能源消耗令人咋舌，小型組織或個(gè)人難以參與核心LLM的開發(fā)。
國(guó)際能源署估計(jì)，到2026年，數(shù)據(jù)中心、加密貨幣和人工智能相關(guān)的電力消耗將大致相當(dāng)于日本全國(guó)的用電量。OpenAI首席執(zhí)行官阿爾特曼曾表示，訓(xùn)練GPT-4的成本至少為1億美元，而Anthropic首席執(zhí)行官Dario Amodei預(yù)測(cè)，未來訓(xùn)練模型的成本可能高達(dá)1000億美元。
此外，使用LLM所需的工具和技術(shù)的復(fù)雜性也增加了開發(fā)人員的學(xué)習(xí)曲線。從訓(xùn)練到部署，整個(gè)過程耗時(shí)漫長(zhǎng)，減緩了開發(fā)速度。劍橋大學(xué)的一項(xiàng)研究顯示，公司可能需要90天或更長(zhǎng)時(shí)間才能部署一個(gè)機(jī)器學(xué)習(xí)模型。LLM的另一個(gè)重大問題是容易產(chǎn)生“幻覺”，即模型生成的輸出看似合理，但實(shí)際上并不正確。這是由于LLM的訓(xùn)練方式是根據(jù)數(shù)據(jù)中的模式預(yù)測(cè)下一個(gè)最可能的單詞，而非真正理解信息。
面對(duì)LLM的巨大能源需求以及為企業(yè)提供更多樣化AI選項(xiàng)的市場(chǎng)機(jī)會(huì)，科技公司逐漸將注意力轉(zhuǎn)向了SLM。不論是AI初創(chuàng)公司如Arcee、Sakana AI和Hugging Face，還是科技巨頭，都在通過SLM和更經(jīng)濟(jì)的方式吸引投資者和客戶。
此前，谷歌、meta、OpenAI和Anthropic都發(fā)布了比旗艦LLM更緊湊、更靈活的小模型。這不僅降低了開發(fā)和部署的成本，也為商業(yè)客戶提供了更便宜的解決方案。鑒于投資者越來越擔(dān)心AI企業(yè)的高成本和不確定的回報(bào)，更多的科技公司可能會(huì)選擇這條道路。即便是微軟和英偉達(dá)，如今也先后推出了自己的小模型（SLM）。
SLM是LLM的精簡(jiǎn)版本，具有更少的參數(shù)和更簡(jiǎn)單的設(shè)計(jì)。它們需要更少的數(shù)據(jù)和訓(xùn)練時(shí)間，只需幾分鐘或幾小時(shí)。這使得SLM更高效，更易于在小型設(shè)備上部署。例如，它們可以嵌入到手機(jī)中，而無需占用超算資源，從而降低成本，并顯著提升響應(yīng)速度。
SLM的另一個(gè)主要優(yōu)勢(shì)是其針對(duì)特定應(yīng)用的專業(yè)化。SLM專注于特定任務(wù)或領(lǐng)域，這使它們?cè)趯?shí)際應(yīng)用中更加高效。例如，在情緒分析、命名實(shí)體識(shí)別或特定領(lǐng)域的問答中，SLM的表現(xiàn)往往優(yōu)于通用模型。這種定制化使得企業(yè)能夠創(chuàng)建高效滿足其特定需求的模型。SLM在特定領(lǐng)域內(nèi)也不易出現(xiàn)“幻覺”，因?yàn)樗鼈兺ǔＴ诟⒏嗅槍?duì)性的數(shù)據(jù)集上訓(xùn)練，這有助于模型學(xué)習(xí)與其任務(wù)最相關(guān)的模式和信息。
