進(jìn)攻手段豐富、擅長快速防守反擊，還能迅速找出“漏洞”，打?qū)κ忠粋€措手不及……一場頂尖AI足球賽的激烈程度，不僅堪比真人專業(yè)足球競賽，更是一場AI領(lǐng)域的“硬科技”較量。
近期，游戲領(lǐng)域頂級會議IEEE游戲大會 (CoG)足球AI競賽公布最終結(jié)果，網(wǎng)易互娛AI LAB足球隊(duì)不僅包攬5v5和11v11雙賽道冠軍，更在11v11賽道中，以高出267分的優(yōu)勢取得斷崖式領(lǐng)先，戰(zhàn)勝了包括清華大學(xué)、字節(jié)跳動、BiliBili、中國科學(xué)院自動化研究所、南京大學(xué)、中國科技大學(xué)等多支人工智能研究領(lǐng)域的頂尖高校及企業(yè)隊(duì)伍。據(jù)悉，這是網(wǎng)易互娛AI Lab繼去年滿分奪冠IEEE游戲大會的格斗游戲AI競賽后，再次獲該大會游戲AI類競賽的冠軍，展現(xiàn)出其在游戲AI方面的技術(shù)硬實(shí)力。
拿下頂級AI足球賽雙料冠軍，領(lǐng)先第二名267分
2022 IEEE游戲大會由IEEE主辦，中國科學(xué)院自動化研究所承辦，是該會議首次在中國舉行。作為游戲領(lǐng)域人工智能的國際頂會，IEEE 游戲大會每年舉行不同的競賽，吸引全球游戲領(lǐng)域?qū)W術(shù)界和工業(yè)界的研究與開發(fā)人員參賽，以同臺競技、互相切磋的方式，探討游戲AI技術(shù)的最新進(jìn)展與未來發(fā)展方向。
長期以來，教AI學(xué)會踢球、踢出好球，是全球頂尖AI團(tuán)隊(duì)一直攻堅(jiān)的科研難題。足球比賽，以其策略的復(fù)雜性、多樣性和高難度著稱。AI球員不僅要掌握傳球、防守等復(fù)雜概念，還要能在場上根據(jù)對手的反應(yīng)靈活應(yīng)變，突破防守，拿下分?jǐn)?shù)。
本屆IEEE 游戲大會舉辦的足球 AI 競賽，由5v5和 11v11兩個賽道組成。其中，5v5 賽道需要訓(xùn)練除了守門員之外的4 名隊(duì)員的模型，而 11v11 賽道則需要訓(xùn)練包含守門員在內(nèi)的全部 11 名隊(duì)員。由于兩個賽道均屬于多智能體訓(xùn)練任務(wù)，訓(xùn)練AI球員的難度大幅增加，同時也增加了比賽的技術(shù)含金量。
比賽最終結(jié)果顯示， 網(wǎng)易互娛AI Lab以1292.28分和1491.48分的成績分別包攬了5v5和11v11兩個賽道的冠軍，特別是在11v11賽道中，以高于第二名清華大學(xué)267分的優(yōu)勢取得了斷崖式領(lǐng)先。
（圖：網(wǎng)易互娛AI LAB獲IEEE游戲大會足球AI競賽雙料冠軍）
獨(dú)創(chuàng)自研AI訓(xùn)練框架造就“雙料冠軍”，已應(yīng)用于多款游戲
本次比賽中，網(wǎng)易互娛AI Lab采用了獨(dú)創(chuàng)的自研AI訓(xùn)練框架。該框架基于強(qiáng)化學(xué)習(xí)和多樣性模型池，具有高強(qiáng)度、泛化性強(qiáng)和策略豐富的特點(diǎn)。相較其他模型，該AI框架訓(xùn)練出來的AI球員，不僅能夠持續(xù)穩(wěn)定提升自身“技能”，還可以避免強(qiáng)化學(xué)習(xí)領(lǐng)域經(jīng)典的“非傳遞性”問題。這意味著，AI球員身上的弱點(diǎn)，更難被對手發(fā)現(xiàn)。
（圖：11v11比賽畫面）
此外，該模型的策略豐富度，也顯著超出此前其他已知的所有模型。例如，模型表現(xiàn)出豐富的進(jìn)攻方式，除了經(jīng)典的全隊(duì)進(jìn)攻、邊路進(jìn)攻、中路進(jìn)攻和快速防守反擊外，還掌握了利用游戲引擎的特點(diǎn)形成的特定進(jìn)攻戰(zhàn)術(shù)，因此能夠擊敗各類具有不同策略的對手。
（圖：訓(xùn)練框架）
目前，網(wǎng)易互娛AI LAB的這套自研AI訓(xùn)練框架，已實(shí)際服務(wù)多款游戲，應(yīng)用于冷啟動匹配、補(bǔ)位、陪玩等多元場景，大幅提升玩家體驗(yàn)。例如，當(dāng)玩家匹配到AI對戰(zhàn)時，可以根據(jù)玩家不同的段位，派出不同難度的AI，讓玩家擁有與真人對打的暢快體驗(yàn)。此外，AI訓(xùn)練框架還將訓(xùn)練難度更強(qiáng)、更具挑戰(zhàn)性的游戲AI，為進(jìn)一步探索通用型人工智能奠定基礎(chǔ)。
未來，網(wǎng)易互娛AI Lab將繼續(xù)深耕游戲AI研究領(lǐng)域，不斷突破AI落地難題，為全球用戶創(chuàng)造全新的互動娛樂體驗(yàn)。
