聲明:本文來自于微信公眾號 AIGC開放社區(ID:AIGCOPEN),作者:AIGC開放社區,授權轉載發布。
OpenAI、斯坦福大學的研究人員推出了一個創新大模型增強框架——Meta-ProMetating(簡稱“Meta”)。
Meta可增強GPT-4、PaLM和LLaMa等模型的性能,使生成的內容更加精準、安全可靠。
其技術原理也很簡單明確,通過將模型復雜的任務或問題分解為更小、可管理的子任務,并將其分配給功能更強的專家模型來進行指導。
實驗數據顯示,Meta與GPT-4相結合后,在不同任務中的測試表現非常強悍,例如,在Game of24、 Checkmate-in-One和Sonnet Writing測試任務中,Meta的準確率明顯優于其他幾種主流輔助提示框架。特別是Meta與Python代碼解釋器相結合使用后,效果更佳。
論文地址:https://arxiv.org/abs/2401.12954
傳統的模型提示指導方法是,需要為每個特定任務提供詳細示例或具體的微調指導,這種模式非常費時、浪費AI算力。
而META采用了一種可以跨特定任務的通用高層次指導,打造了一個集中協調和多個專家模型于一體的創新框架,從而實現任務的分解和協同解決,主要由指揮模型、專家模型、溝通協調等模塊組成。
指揮和專家模型
當大語言模型收到一個內容查詢時,指揮模型負責生成一個消息歷史,其中包含來自各種專家模型的回答。
指揮模型首先根據查詢選擇適當的專家模型,并為每個特定查詢制定具體的指令。然后,將這些指令傳遞給相應的專家模型,并監督和協調它們之間的通信和合作。指揮模型還運用自身的批判性思維、推理和驗證能力來完善和驗證最終結果。
而每個專家模型都有豐富的任務實例,可根據指揮為每個特定查詢選擇的專業知識和信息生成更準確地輸出。
專家模型通過接收來自指揮模型的指令,并根據這些指令執行特定的子任務。通過將復雜任務分解為較小、可管理的子任務,專家模型能夠更好地處理并生成準確、一致的回答。
上下文選擇
該模塊負責為每個專家模型提供動態的上下文選擇。在處理復雜文本任務時,不同的上下文會引入新的視角和信息,從而豐富模型的知識和理解。
上下文選擇模塊可根據指揮模型的指令和當前任務的要求,選擇適當的上下文信息,并將其傳遞給相應的專家模型。這種動態的上下文選擇使得專家模型能夠更好地理解和解決復雜任務。
為了保證輸出內容的準確性,META還內置了批判和驗證模塊,通過使用邏輯推理、常識知識和驗證技術來評估和驗證專家模型的指導輸出內容。
評估模塊會對每個專家模型生成的回答進行驗證,并將驗證結果反饋給指揮模型。指揮模型再根據這些反饋進行調整和修正并進行自適應學習,以生成更準確和可靠的最終答案。