10月20-10月24日,多媒體方向頂級學術盛會ACM Multimedia 2021于中國成都正式召開。阿里巴巴淘系技術與浙江大學聯合舉辦的直播中多模態商品識別Workshop暨第二屆淘寶直播商品識別大賽圓滿結束。淘系技術通過該Workshop開源了業界首個首個大規模的多模態視頻商品檢索數據集,并聯合浙江大學教授莊越挺、悉尼科技大學教授楊易、天津大學教授韓亞洪等國內外知名學者發起多模態檢索領域的國際挑挑戰賽,旨在共同推動電商直播場景中多模態商品檢索識別的研究和AI技術在實際應用場景中的落地。
在電商應用場景中,淘系技術通過直播商品識別算法,實現淘寶直播過程中商品和直播講解點的有效關聯,讓消費者可以通過點擊商品跳轉觀看該商品的真人講解,實現邊看邊買的沉浸式消費體驗。而直播間講解商品多,視覺相似程度高,直播場景復雜度高,給直播中商品檢索識別帶來巨大的技術挑戰。如何基于直播內容的理解,進行多模態商品檢索和識別,是非常值得研究并需持續投入的課題。
基于淘寶直播數據構建的多模態視頻商品檢索數據集Watch and Buy (WAB),淘系技術于4月27日正式發起第二屆淘寶直播商品識別大賽,相較與第一屆大賽,在賽題設計上引導選手注重全類別的識別效果,特別是長尾的商品類別、視覺紋理簡單商品的識別等,另一方面更加強調多模態信息(主播講解語音、商品標題)等信息在精確識別視覺相似講解商品中的重要性。
本屆賽事共吸引來自北京大學、清華大學、中科院、卡耐基梅隆大學、倫敦大學、南京大學、浙江大學等全球知名高校學者組成的587支隊伍參加,歷經3個月的激烈追逐,最終來自中科院計算所、北京大學、中南大學組成的隊伍分別獲得本賽事的冠軍、亞軍和季軍。
其中來自中科院計算所的冠軍隊伍的F1分數高達0.69,超過baseline 0.22,Top3隊伍的F1分數均超過0.6。在論文征集部分,workshop共接收了5篇論文,包括兩篇long paper,三篇short paper。
Watch and Buy Challenge & workshop 成果總結
阿里巴巴淘系技術資深算法專家李曉波表示,“淘寶擁有最大規模的商品庫,淘寶直播作為直播領域的先行者,實現通過直播的方式更好連接商品和消費者。在這個過程中,如何通過AI的能力,更好的理解視頻直播內容,提升用戶邊看邊買的消費體驗是我們一直的追求。本次workshop通過提供真實的多模態商品識別的應用場景、數據,希望能夠促進更多學術和工業的結合,激發更多創新研究和技術落地。”
本屆ACM MM 2021 的大會co-chair,來自浙江大學的莊越挺教授也表示,“阿里巴巴提供了真實的高質量的直播商品檢索場景和數據,能夠讓學術界很好的參與到這個問題中。”
歡迎大家持續關注獲取WAB開源數據集
