要點(diǎn):
1. 快手與哈爾濱工業(yè)大學(xué)聯(lián)合研發(fā)的「KwaiAgents」系統(tǒng)實(shí)現(xiàn)了7B/13B模型的開源，超越了GPT-3.5的效果。
2. 「KwaiAgents」包含輕量級AI Agents系統(tǒng)（KAgentSys-Lite）、具有通用能力的大模型(KAgentLMs)、以及開箱即用的自動化評測Benchmark(KAgentBench)。
3. 通過Meta-Agent Tuning（MAT）方法，模型在訓(xùn)練中引入更多Agent Prompt模板，提升大模型在任務(wù)規(guī)劃、工具使用、反思等能力，從而達(dá)到超越效果。
（ChinaZ.com）12月28日 消息:近日，快手聯(lián)合哈爾濱工業(yè)大學(xué)成功開源了「KwaiAgents」系統(tǒng)，實(shí)現(xiàn)了7B/13B模型的超越效果。這一成果的背后，是通過Meta-Agent Tuning（MAT）方法提升大模型的通用能力。整個項(xiàng)目包含了系統(tǒng)、模型、以及評測三個方面的內(nèi)容，并通過GitHub完全開源，為研究者和開發(fā)者提供了極大的便利。
項(xiàng)目地址:https://github.com/KwaiKEG/KwaiAgents
該系統(tǒng)以大模型為認(rèn)知內(nèi)核，配以記憶機(jī)制和工具庫，形成迭代式自動化系統(tǒng)。記憶機(jī)制包含知識庫、對話和任務(wù)歷史三類記憶，通過混合向量檢索和關(guān)鍵詞檢索技術(shù)，在每一輪對話中檢索所需信息。工具集包含事實(shí)性增強(qiáng)工具，異構(gòu)的搜索和瀏覽機(jī)制能夠匯集多個來源的知識，包括網(wǎng)頁、文本百科和視頻百科。自動化Loop中，系統(tǒng)在一輪對話中接收問題，進(jìn)行記憶的更新和檢索，調(diào)用大模型進(jìn)行任務(wù)規(guī)劃，根據(jù)需要調(diào)用工具，最后綜合歷史信息給出回答。
為避免訓(xùn)練中單一模板引起的過擬合問題，團(tuán)隊(duì)提出了MAT方法。該方法分為兩階段:模板生成階段和指令微調(diào)階段。在模板生成階段，通過設(shè)計(jì)Meta-Agent，生成實(shí)例化的Agent Prompt模板，候選結(jié)果與開源模板進(jìn)行對比打分，從而篩選出高質(zhì)量的Agent Prompt模板庫。在指令微調(diào)階段，基于上萬的模板構(gòu)建了超過20萬的Agent調(diào)優(yōu)指令微調(diào)數(shù)據(jù)。通過這一方法，模型在任務(wù)規(guī)劃、工具使用、反思等方面的能力得到提升，同時避免了過度依賴單一模板的問題。
KAgentBench通過人工精細(xì)化標(biāo)注的數(shù)據(jù)，提供開箱即用的Agent能力自動化評測Benchmark。該Benchmark涵蓋不同種類的能力構(gòu)造輸入，每個query配備多個模板和多個人工編輯的真實(shí)回答，綜合評測準(zhǔn)確性和泛化性。評測結(jié)果顯示，通過MAT調(diào)優(yōu)后，7B-13B模型在各項(xiàng)能力上均有顯著提升，超越了GPT-3.5的效果。
團(tuán)隊(duì)表示，AI Agents是一條具有潛力的道路，未來將持之以恒地沉淀核心技術(shù)，并積極探索Agents技術(shù)與快手業(yè)務(wù)的結(jié)合，嘗試更多有趣、有價值的創(chuàng)新應(yīng)用落地。這一開源項(xiàng)目為整個社區(qū)注入了新的活力，為研究者提供了豐富的資源和參考。
