【ITBEAR】在人工智能領域，大模型挑戰電腦游戲的新探索引起了廣泛關注。近日，淘天集團未來生活實驗室的算法工程師們，利用多模態大模型深入體驗了國產電腦游戲《黑神話：悟空》，并在此過程中取得了顯著成果。相關研究論文已在論文預印本網站arXiv上發布。
《黑神話：悟空》作為一款動作角色扮演類游戲，成為了眾多研究者測試大模型性能的平臺。研究團隊面臨的主要挑戰包括直接視覺輸入的復雜性和動作任務的執行難度。
為應對這些挑戰，技術團隊創新性地提出了VARP Agent框架。該框架通過游戲截圖輸入，結合多模態大模型的推理，生成可直接操作游戲角色的代碼。
VARP Agent框架包含情境庫、動作庫和人類引導庫，這些庫可存儲密集知識，支持自我學習和人類指導。在實驗中，該框架在基本任務和簡單到中等難度的戰斗中表現出色，勝率高達90%。
盡管在面對高難度任務時，VARP Agent的表現相對較差，但整體研究成果仍為設計更復雜、更智能的智能體提供了有益參考。
此次研究展示了多模態大模型在電腦游戲領域的潛力，為未來的智能體設計提供了新的思路。
