【ITBEAR科技資訊】7月18日消息，近日，上海人工智能實驗室揭曉了一場特殊的“高考”成績，這場考試與眾不同，因為它的參考者并非真實的學生，而是7個頂尖的AI大模型。這一評測的初衷在于探索當前大模型的真實能力水平，并尋找其可能存在的問題，以期推動技術的進步。
據評測結果，書生?浦語 2.0 系列文曲星大模型(浦語文曲星)、阿里通義千問大模型 Qwen2-72B 和廣為人知的 GPT-4o 在眾多模型中脫穎而出，分別在文科和理科的評測中位列前三。這三款大模型的文、理科成績均超越了“一本”和“二本”的分數線，這一參考線是基于今年高考人數最多的河南省的分數線設定的。
此次參與評測的大模型除了上述三款外，還包括了Yi-1.5-34B、Qwen2-57B、GLM-4-9B以及來自法國AI初創(chuàng)公司Mistral的Mixtral 8×22B。整個評測過程嚴謹而全面，不僅進行了全卷的評分，還特意邀請了有高考閱卷經驗的老師進行打分，以確保評分的公正性和準確性。
在這場特殊的“高考”中，Qwen2-72B 以546分的高分奪得了文科狀元的桂冠，而浦語文曲星則以468.5分領跑理科。與此同時，GPT-4o在文理科均展現(xiàn)出不俗的實力。不過，國外的大模型Mixtral 8x22B在此次評測中表現(xiàn)相對較弱。
閱卷老師們在對答案進行仔細分析后指出，雖然大模型在基礎知識的掌握上表現(xiàn)出色，但與真實考生相比，在邏輯推理和知識靈活應用上還存在明顯差距。特別是在解答主觀題時，大模型往往難以完整理解題目要求，導致答案與題目要求不符。在數學題的解答過程中，大模型的表現(xiàn)也顯得機械且邏輯性不強。
根據上海人工智能實驗室上個月公布的 AI 高考全卷結果，Qwen2-72B、GPT-4o 及書生?浦語 2.0 文曲星(InternLM2-20B-WQX)成為本次大模型高考的前三甲，得分率均超過 70%。大部分模型“考生”語文、英語科目表現(xiàn)良好，但數學方面仍有很大提升空間。
