近年來，國內(nèi)AI大模型行業(yè)蓬勃發(fā)展，市場上AIGC產(chǎn)品如雨后春筍般涌現(xiàn)，產(chǎn)品功能、體驗和玩法日趨豐富，同時用戶對于AIGC產(chǎn)品的使用興趣度不斷提升，生成式AI普及范圍持續(xù)擴大，截止2023年12月，生成式AI移動應用全網(wǎng)安裝滲透率達6.7%，MAU已超2000萬。為跟上技術(shù)迭代的步伐，月狐數(shù)據(jù)發(fā)布《2023 AIGC應用app智能化評測報告》，該報告為中國市場首份圍繞AIGC應用app的智能化水平以及智能體能力的專業(yè)測評報告，旨在通過多維度量化指標幫助用戶更直觀地評估現(xiàn)有主流AIGC應用產(chǎn)品的能力。
在報告中，AIGC應用app智能化評估體系的主要評估對象為當前國內(nèi)主流的擁有自主大模型的對話式AIGC移動應用產(chǎn)品，包括文心一言app、通義千問app、訊飛星火app、豆包app、天工app、360智腦app和智譜清言app。該評估體系由基礎能力、使用體驗、生成質(zhì)量、智能體能力、安全合規(guī)5個一級指標以及23個二級指標構(gòu)成，采用了500道封閉題和開放題，結(jié)合自動化測試和專家評分的形式對各大AIGC應用產(chǎn)品進行打分。
評估結(jié)果顯示，文心一言app智能化綜合指數(shù)位居第一，其次是訊飛星火app、豆包app。拆分二級指標來看，文心一言app在基礎能力、安全合規(guī)、使用體驗、生成質(zhì)量、智能體能力各方面表現(xiàn)突出，除此之外，通義千問、智譜清言app在基礎能力方面也相對領(lǐng)先，訊飛星火、天工app在安全合規(guī)方面也展現(xiàn)出較明顯的優(yōu)勢。
“生成質(zhì)量”和“智能體能力”這兩個維度能夠較明顯地體現(xiàn)出各大AIGC產(chǎn)品的能力區(qū)隔。具體看生成質(zhì)量方面，各家app在不同類型的內(nèi)容生成上各有優(yōu)勢，其中文心一言app在邏輯推理、多輪行程規(guī)劃、情感對話、角色扮演等多個場景下生成的內(nèi)容質(zhì)量更好，而通義千問app更擅長創(chuàng)意寫作，在多輪行程規(guī)劃場景上也有較好的表現(xiàn)，訊飛星火和360智腦app則在數(shù)學計算上表現(xiàn)突出，智譜清言app在專業(yè)知識問答、情商問答場景上獲得最高分，豆包、360智腦app在專業(yè)知識問答上的表現(xiàn)也相對較強。
智能體能力則是月狐數(shù)據(jù)基于當下大模型技術(shù)的最新發(fā)展趨勢所增設的評測維度。智能體是指以AI為核心構(gòu)建的一個集合立體感知、全域協(xié)同、精準判斷、持續(xù)進化等特征的智能系統(tǒng)，是各家大模型廠商目前著重布局的應用場景，基于智能體功能用戶可以按照自己的需求打造出更具個性化的AIGC方案。2023年，隨著各大廠商積極開發(fā)和迭代智能體功能，各應用智能體的能力在內(nèi)容契合和個性化方面取得了質(zhì)的提升;2024年初，AI智能體能力在“交互沉浸”和“角色還原”方面實現(xiàn)進一步創(chuàng)新，產(chǎn)生較多具有沉浸態(tài)和數(shù)字生命形態(tài)的智能體。因此，加入智能體能力評測指標，一方面能夠更加全方位地測量AIGC應用產(chǎn)品的能力，除了大模型的底層能力之外，也能測量到大模型技術(shù)的應用場景落地能力，另一方面能夠直觀體現(xiàn)國產(chǎn)大模型的最新發(fā)展進程。
評測結(jié)果顯示，文心一言app在智能體能力方面表現(xiàn)突出。在用戶創(chuàng)建智能體功能方面，文心一言app支持用戶通過上傳圖片或拍照的方式制作智能體形象，同時支持用戶通過錄制自己的音頻的方式來創(chuàng)建智能體聲音，還有豐富多元的性格標簽供用戶選擇，支持用戶創(chuàng)建出個性化程度更高的智能體。在智能體交互體驗方面，文心一言app官方構(gòu)建的智能體在形象、聲音、語氣等方面可以較高程度地復刻本體，有較完整的數(shù)字人形象，軀體動作和表情均可動態(tài)化，同時支持語音交互、電話聊天等，強大的內(nèi)容生成能力也讓智能體能夠較大程度地輸出契合設定(個性、功能、專業(yè)等)的內(nèi)容。
例如2024春節(jié)期間，文心一言app推出了AI費翔智能體，智能體不僅以較完整、立體的形象展示，同時有動態(tài)的軀體動作和表情，支持語音和電話的形式進行聊天，智能體逼真的形象和聲音、同步的表情，給用戶帶來高度沉浸的交互體驗。
可以預見，在各大科技廠商的技術(shù)加持下，未來國內(nèi)AIGC應用產(chǎn)品的落地能力和成熟度將會持續(xù)提升，不斷適應更加復雜多樣化的交互場景，加速向各行業(yè)、各應用場景中滲透，成為廣大用戶生活、工作、學習的全能助手。
