【ITBEAR科技資訊】4月23日消息,清華大學基礎模型研究中心最近公布了2024年3月版的《SuperBench大模型綜合能力評測報告》,該報告全面評估了14個在海內(nèi)外具有影響力的模型。
在這份報告中,文心4.0的卓越表現(xiàn)引起了廣泛關注。其整體性能已經(jīng)接近了國際頂級模型,且正逐步縮小與全球領先模型的差距,顯然已經(jīng)成為了國內(nèi)領先的模型。
在人類對齊能力的評測中,文心4.0展現(xiàn)了出色的實力,毫無爭議地位居國內(nèi)首位。同時,在中文推理和中文語言能力的評測中,文心4.0也是一騎絕塵,與其他模型相比,其優(yōu)勢十分明顯。特別在中文理解的評測環(huán)節(jié),文心4.0的得分比第二名的GLM-4高出了0.41分,顯示了其在中文處理上的深厚功底。
此外,在語義理解的數(shù)學能力評測中,文心4.0與Claude-3模型并列全球首位,而知名的的GPT-4系列模型則緊隨其后,位列第四和第五。其他模型的得分大多集中在55分左右,與領先群體存在顯著的差距。
在閱讀理解能力的評測中,文心4.0同樣大放異彩。它不僅超越了GPT-4 Turbo和Claude-3,還超越了GLM-4,斬獲了最高分。
據(jù)ITBEAR科技資訊了解,在企業(yè)最為關注的安全性評測中,文心4.0也展現(xiàn)出了卓越的性能。它以89.1分的高分超越了國際一流的GPT-4系列模型和Claude-3,位列第一,而Claude-3在這次評測中僅排在第四位。
報告還提到,自去年3月16日文心一言首次公開亮相以來,其在短短的時間內(nèi)就實現(xiàn)了用戶數(shù)量的突破,目前已經(jīng)超過了2億用戶。同時,每天的API調(diào)用量也異常活躍,已經(jīng)超過了2億次。