在AI編程領域，一場關于模型能力評估的變革正在悄然進行。近日，字節(jié)跳動旗下的豆包大模型團隊攜手M-A-P開源社區(qū)，共同推出了一個名為FullStack Bench的全新代碼評估基準，旨在更全面地衡量大模型在真實世界中的代碼開發(fā)能力。
FullStack Bench的出現(xiàn)，是對當前代碼評估基準的一次重要升級。以往，諸如Humaneval和MBPP等主流評測集，大多聚焦于基礎編程和高級編程問題，而DS-1000則更側重于數(shù)據(jù)分析和機器學習任務，且僅針對Python語言。xCodeeval雖然覆蓋的任務類型較多，但也基本局限于高級編程和數(shù)學領域。這些評測集在應用類型和編程語言上的局限性，使得它們難以充分反映真實世界代碼開發(fā)場景的多樣性和復雜性。
為了打造一個更貼近真實全棧開發(fā)環(huán)境的評估基準，豆包大模型團隊與M-A-P開源社區(qū)從全球最大的程序員技術問答社區(qū)Stack Overflow中抽取了海量問題進行分析。經過嚴格的篩選和調整，他們最終確定了超過11種應用場景，并構建了包含3374個問題的FullStack Bench數(shù)據(jù)集。這些問題不僅涵蓋了編程全棧技術中的多個真實場景，還涉及16種編程語言，從而能夠更有效地評估大模型在現(xiàn)實世界中的代碼開發(fā)能力。
在FullStack Bench數(shù)據(jù)集中，每個問題都包含了題目描述、參考解決方案及單元測試用例，總計15168個單元測試。為確保評估的準確性，這些問題均由相關領域的編程專家精心設計，并經過AI和人工的雙重驗證。豆包大模型團隊還根據(jù)主流代碼大模型的測試結果，對數(shù)據(jù)集進行了進一步的交叉評估和完善，以確保其質量和實用性。
除了FullStack Bench數(shù)據(jù)集外，豆包大模型團隊還開源了一款名為SandboxFusion的代碼沙盒執(zhí)行工具。這款工具能夠高效地評估來自不同語言的不同編程任務，并兼容超過10種廣泛使用的代碼評估數(shù)據(jù)集，支持23種編程語言。開發(fā)者只需在單服務器上即可輕松部署SandboxFusion，也可直接在GitHub上進行體驗，從而大大簡化了對大模型代碼能力的系統(tǒng)性測試過程。
在發(fā)布FullStack Bench數(shù)據(jù)集和SandboxFusion工具的同時，字節(jié)代碼大模型也首次亮相。豆包大模型團隊對全球20余款代碼大模型及語言大模型的編程表現(xiàn)進行了評測，其中包括他們自研的豆包代碼大模型Doubao-Coder。這一評測結果不僅展示了豆包大模型在編程能力上的優(yōu)勢，也彰顯了字節(jié)跳動在代碼大模型領域的深厚積累和快速進步。
事實上，近半年來，字節(jié)跳動在代碼大模型領域取得了顯著進展。今年6月，他們發(fā)布了由自研代碼基座模型支撐的AI編程助手豆包MarsCode。這款助手能夠為用戶提供高質量的代碼生成服務，目前每月已為用戶貢獻百萬量級的代碼量。FullStack Bench數(shù)據(jù)集和SandboxFusion工具的推出，無疑將進一步推動字節(jié)跳動在代碼大模型領域的創(chuàng)新和發(fā)展。
