1 月 29 日消息,百川智能今日發布超千億參數的大語言模型 Baichuan 3,在 CMMLU、GAOKAO 和 AGI-Eval 等評測中,Baichuan 3 號稱在中文任務上超越了 GPT-4。
在測試邏輯推理能力的 MCMLE、MedExam、CMExam 等醫療評測上,Baichuan 3 的中文效果同樣號稱超過了 GPT-4,是“中文醫療任務表現最佳的大模型”。
據介紹,百川智能在 Baichuan 3 訓練過程中提出了“動態數據選擇”、“重要度保持”以及“異步 CheckPoint 存儲”等多種技術手段及方案,穩定訓練時間達到一個月以上,故障恢復時間不超過 10 分鐘。
百川智能官方表示,Baichuan 3 還突破“迭代式強化學習”技術,進一步提升了語義理解和生成能力,在詩詞創作的格式、韻律、表意等方面進行了提升,對于宋詞這種格式多變,結構深細、韻律豐富的高難度文體,生成的內容亦能工整對仗、韻腳和諧,讓每個人都能創作出詠物、寄思的五言律詩、七言絕句,寫下的言志、抒情的“沁園春”、“定風波”。
百川智能成立于 2023 年 4 月 10 日,由前搜狗公司 CEO 王小川創立。目前 Baichuan 3 大模型已在百川智能官網上線。
【來源:IT之家】