【ITBEAR】在人工智能領域，大模型挑戰電腦游戲的新篇章已經開啟。淘天集團未來生活實驗室的算法工程師們，利用多模態大模型深入探索了國產電腦游戲《黑神話：悟空》，并取得顯著成果。這一研究不僅測試了大模型在特定場景下的性能，還揭示了其在動作角色扮演類游戲中的潛力。
動作角色扮演類游戲因其復雜性，成為了研究者們測試大模型性能的理想平臺。在這類游戲中，大模型需要僅通過視覺輸入進行決策，并生成復雜而連續的動作。然而，這一任務并非易事，大模型面臨著直接視覺輸入和動作任務兩大挑戰。
為應對這些挑戰，技術團隊提出了名為VARP Agent的新框架。該框架以游戲截圖為輸入，通過多模態大模型的推理，生成可直接操作游戲角色的代碼。這些代碼由各種原子命令組合而成，包括輕攻擊、躲避等。
VARP Agent框架還包含三個庫：情境庫、動作庫和人類引導庫，用于存儲和更新密集知識。在研究中，技術團隊定義了多項任務，其中大部分發生在戰斗場景中。結果顯示，該框架在基本任務和簡單到中等難度的戰斗中表現出色，勝率高達90%。
盡管在面對高難度任務時，VARP Agent的表現相對較差，其整體水平仍不及高水平人類玩家，但這一研究成果為設計更復雜、更智能的智能體提供了寶貴參考。
