【ITBEAR科技資訊】3月18日消息，近日，馬斯克旗下的人工智能創(chuàng)新企業(yè)xAI宣布，他們開發(fā)的大型語言模型Grok-1已經(jīng)實(shí)現(xiàn)開源，并向全球公眾開放下載。這一消息在科技界引起了廣泛關(guān)注。
Grok-1是一款采用混合專家系統(tǒng)(Mixture-of-Experts，MoE)技術(shù)構(gòu)建的大型語言模型，其參數(shù)數(shù)量高達(dá)3140億，這一數(shù)字遠(yuǎn)超過了OpenAI的GPT-3.5模型的1750億參數(shù)，成為迄今為止參數(shù)量最大的開源大型語言模型。根據(jù)Apache 2.0協(xié)議的條款，xAI已經(jīng)開放了Grok-1的模型權(quán)重和架構(gòu)，供全球開發(fā)者共同研究和使用。
據(jù)ITBEAR科技資訊了解，xAI強(qiáng)調(diào)Grok-1完全由公司內(nèi)部團(tuán)隊(duì)自行訓(xùn)練完成，其預(yù)訓(xùn)練階段已于2023年10月圓滿結(jié)束。此次公開發(fā)布的是Grok-1在預(yù)訓(xùn)練階段結(jié)束時(shí)的原始基礎(chǔ)模型檢查點(diǎn)，這意味著該模型還未經(jīng)過任何針對特定應(yīng)用場景的微調(diào)。對于開發(fā)者而言，這無疑提供了一個(gè)極具潛力的研究起點(diǎn)。
xAI的成立旨在與OpenAI、谷歌、微軟等科技巨頭在大型模型領(lǐng)域展開競爭。其團(tuán)隊(duì)成員均來自業(yè)界頂尖的研究機(jī)構(gòu)和知名企業(yè)，如OpenAI、谷歌DeepMind、谷歌研究院以及微軟研究院等。這樣一支強(qiáng)大的團(tuán)隊(duì)背景無疑為xAI在大型模型領(lǐng)域的競爭提供了堅(jiān)實(shí)的支持。
盡管xAI目前還沒有公布Grok-1的具體測試成績，但業(yè)內(nèi)對于這款大型語言模型的性能表現(xiàn)充滿期待。隨著各大科技巨頭在人工智能領(lǐng)域的競爭日益激烈，xAI的Grok-1無疑將成為這場競爭中的一大看點(diǎn)。
