【ITBEAR】在2024中國移動全球合作伙伴大會上,中國移動攜手電子標準院及16家重點央企,共同推進大模型評測體系建設,并發布了《通用大模型評測標準》。這一標準被視為評測體系建設的重要里程碑,旨在為產業界篩選優質大模型提供有力參考。
據透露,該標準的建設工作將圍繞通用領域及四個重點行業領域展開,涵蓋評測標準制定、評測基地建設、評測試點應用等多個方面。通用大模型評測標準基于“2-4-6”框架構建,具體而言,“2”代表兩類評測視角,即以重點行業實際需求為導向,與國家標準對模型能力的要求相協調,將評測任務分為理解和生成兩大視角;“4”表示四類評測要素,從評測全生命周期中提取評測工具、評測數據、評測方式和評測指標等關鍵要素,確保評測工作的可實施性;“6”則指六大評測維度,綜合考慮大模型應用過程中的核心能力,包括功能性、準確性、可靠性、安全性、交互性和應用性。