【ITBEAR科技資訊】4月17日消息，國內(nèi)AI初創(chuàng)企業(yè)MiniMax稀宇科技今日宣布，他們已成功研發(fā)出基于MoE(Mixture of Experts)混合專家模型架構(gòu)的abab 6.5系列模型，這標志著該公司在人工智能領(lǐng)域取得了重要突破。據(jù)悉，該系列模型的核心能力已經(jīng)開始接近當前領(lǐng)先的GPT-4、Claude-3和Gemini-1.5等模型。
abab 6.5系列包含兩個重要模型：abab 6.5和abab 6.5s。其中，abab 6.5模型擁有萬億級別的參數(shù)，能夠支持長達200k tokens的上下文長度，展現(xiàn)出強大的語言處理能力。而abab 6.5s模型則在保持與abab 6.5相同訓(xùn)練技術(shù)和數(shù)據(jù)的基礎(chǔ)上，實現(xiàn)了更高的效率。它同樣支持200k tokens的上下文長度，并且能在1秒內(nèi)處理近3萬字的文本，為實時、高效的語言處理提供了可能。
據(jù)ITBEAR科技資訊了解，自今年1月MiniMax發(fā)布國內(nèi)首個基于MoE架構(gòu)的abab 6模型以來，該公司一直致力于通過改進模型架構(gòu)、重構(gòu)數(shù)據(jù)pipeline、優(yōu)化訓(xùn)練算法及并行訓(xùn)練策略等手段，加速Scaling Laws的過程。這一系列努力終于取得了階段性的成果，即abab 6.5系列的誕生。
為了驗證abab 6.5系列模型的性能，MiniMax官方進行了業(yè)界常用的“大海撈針”測試。在該測試中，官方在一段很長的文本中插入一個與該文本無關(guān)的句子，并嘗試通過自然語言向模型提問，以檢驗?zāi)Ｐ褪欠衲軌驕蚀_找出這個“針”。經(jīng)過891次測試，abab 6.5均能夠準確地回答出這個“針”，展現(xiàn)出極高的精確度和可靠性。
隨著abab 6.5與abab 6.5s模型的推出，MiniMax稀宇科技將進一步鞏固其在人工智能領(lǐng)域的地位。這兩個模型將陸續(xù)更新至MiniMax旗下的產(chǎn)品中，包括海螺AI和MiniMax開放平臺。
