快科技6月10日消息,近日,新華社研究院中國企業(yè)發(fā)展研究中心對主流大模型產(chǎn)品進行了體驗評測,發(fā)布了《人工智能大模型體驗報告》。
《報告》顯示,百度文心一言總得分位居國內(nèi)第一,并在基礎能力、智商、情商、工作提效等維度均獲國內(nèi)第一。
在智商測試部分,百度文心一言意外超過ChatGPT3.5,表現(xiàn)突出,位居排名第二,僅次于GPT4。
在綜合指數(shù)評價方面,本次評測選取4大維度(基礎能力、智商測試、情商測試、工作提效能力)、36個子能力,共300個問題,對目前主流大模型產(chǎn)品進行測試。
同時,研究院還邀請相關(guān)專家組成評測團隊深入分析各個產(chǎn)品的語義理解、知識儲備、邏輯能力等,最終得出各廠商的大模型綜合指數(shù)評價。
綜合評測結(jié)果顯示:ChatGPT系列模型各項指標表現(xiàn)優(yōu)異,Chat-GPT4.0版本各項能力在3.5版本的基礎上均有一定程度提升。
由百度開發(fā)的人工智能大模型文心一言是目前國內(nèi)自主研發(fā)的大模型中具有優(yōu)勢的產(chǎn)品。其余大模型產(chǎn)品也在基礎能力方面表現(xiàn)優(yōu)良,但面對較復雜的工作內(nèi)容或情商環(huán)境仍有不同程度的進步空間。