逼搶兇狠、擅長中場突破、短傳行云流水，幾乎毫無破綻……
去年12月，谷歌聯手英超曼城在Kaggle平臺上，舉辦了首屆“AI足球世界杯”，吸引了1138個團隊角逐比拼。其中，網易伏羲強化學習團隊表現出色，斬獲亞軍；其接近專業教練的AI戰術布局能力，讓主辦方看到了“AI+足球”的巨大潛力。
近日，網易伏羲受邀與英超曼城俱樂部、谷歌、Kaggle等行業高管深入交流，分享了比賽中采用的技術框架和訓練方法，共同探討了AI技術在足球領域的應用方向。
（網易伏羲強化學習團隊（藍隊）在決賽中率先破門得分）
（本次比賽競爭激烈，吸引全球1138個團隊參賽）
據了解，本次比賽在 Google Research Football 強化學習環境下進行，參賽團隊可以在11個智能體中控制1個單獨智能體。比賽涉及大量復雜的團隊協作和戰術變化；同時，也考驗各個團隊解決強化學習中幾大極具挑戰性問題的能力，例如長時決策（Long Time Horizon）、稀疏獎勵（Sparse Reward）、多智能體（Multi-Agent）等。
溝通會上，主辦方認為，網易伏羲AI采用的戰術已經“非常接近”專業教練的打法，具備在虛擬環境中，模擬真實足球比賽戰術的能力。同時，網易伏羲的“AI球員”還踢出了自己的風格：中場快速突破，短傳配合進攻，最終進球得分。
（網易伏羲的短傳組合）
網易伏羲AI“定位球”的專業打法，也讓主辦方印象深刻。曼城俱樂部母公司、城市足球集團數據洞察和決策技術總監Brian Prestidge坦言，網易伏羲AI所采用的“定位球”策略，與現實比賽中專業教練的“定位球”戰術非常相似。
AI如同真人專業球隊，不僅儲備了擅長的“定位球”打法，還能根據場上的變化，靈活調整后續戰術配合。例如，發邊線球時，AI則會根據場上態勢判斷，自主選擇保守或激進的打法。
據網易伏羲方面介紹，強化學習團隊在本次比賽采用多頭向量輸入模型，主要通過玩家對戰環境（PVE）與自博弈（Self-Play）相結合的訓練方式，讓AI從0到1學會踢球。賽程中，團隊通過Surgery、模仿學習、課程學習等方式，幫助AI不斷擴充狀態特征和動作，學會對手的打法并予以反制，以及嘗試不同的初始站位來豐富開局變化。
此外，網易伏羲還采用了自主研發的RLEase強化學習框架訓練AI。該框架集成了主流強化學習算法，簡化了環境接入流程，大幅降低強化學習的門檻。該框架還提供了標準接口，添加新算法時，只需要完成標準接口的實現即可，無需人工重復開發分布式等相關功能，這也使得游戲中試驗新算法變得更容易。
（網易伏羲自主研發的RLEase強化學習框架）
“足球賽場極其復雜，球員要面對很多挑戰，但更困難的是從中學習規律。人們一般通過失敗來學習成長，但球場卻很難容忍失敗。”Brian Prestidge對“AI足球世界杯”寄予厚望，他認為，谷歌創造的虛擬環境是一個絕佳的試驗場所，球隊可以在其中測試戰術概念、完善訓練方法，讓教練更有信心地開展自己的職業生涯。
（曼城母公司高管對“AI足球世界杯”寄予厚望）
未來，隨著技術發展，AI有望更加深刻地改變足球行業。例如，AI可以輔助訓練球員、提升戰績；為教練出謀劃策、提供戰術支持；甚至還能幫助管理層更好地經營球隊。
綠茵賽場外，網易伏羲在本次比賽中使用的強化學習技術，也已在多款網易自研游戲中應用落地。例如，《逆水寒》流派競武場景中，玩家可以挑戰比自己高排名的玩家，如果被挑戰者不在線，AI就能代替玩家出戰。借助強化學習技術，AI不僅能打出高水平，還能“自我調節”難度，用變化多端的打法，讓玩家體驗與“真人高手”對抗一般的樂趣。
（《逆水寒》流派競武場景）
在《潮人籃球》3V3場景中，AI不僅學會了傳球、投籃等基礎動作，還學會了擋拆、協防、突破等眾多高級配合打法。
（《潮人籃球》3V3場景）
網易伏羲成立于2017年，是國內專業從事游戲、文娛產業AI研究和應用的頂尖機構，研究方向包括強化學習、圖像動畫、自然語言、虛擬人、用戶畫像、大數據平臺、云計算平臺、云游戲等領域。在為網易眾多產品提供高質量和前沿AI技術的同時，網易伏羲正在進一步把AI技術和產品開放給更多合作伙伴，推動行業加速發展。
