日前,2022年第十六屆全國知識圖譜與語義計算大會(CCKS2022)在秦皇島順利落下帷幕。傳音控股與華東師范大學計算機學院所聯合組建的科研團隊Cube在CCKS2022“教科書示意圖問答”評測競賽中,同時榮獲二等獎、創新技術獎兩項優異成績,并受邀在CCKS大會上進行學術匯報。
第十六屆全國知識圖譜與語義計算大會(CCKS: China Conference on Knowledge Graph and Semantic Computing)由中國中文信息學會語言與知識計算專業委員會主辦。本屆會議主題“知識圖譜賦能數字經濟”,旨在探討數字產業化與產業數字化過程中的語言理解、知識獲取、知識融合、知識推理等方面的關鍵技術,以知識驅動創新應用,加快數字社會建設步伐,營造良好數字生態,建設數字中國。
CCKS技術評測旨在為研究人員提供測試知識圖譜與語義計算技術、算法、及系統的平臺和資源,促進國內知識圖譜領域的技術發展,以及學術成果與產業需求的融合和對接。今年,經過評測任務征集和評測組委會篩選,CCKS2022共設立5大評測主題,共14個評測任務。其中,“教科書示意圖問答”評測任務共吸引了來自南京大學、華東師范大學等高校以及中科院自動化所等科研單位共101支隊伍參賽。
示意圖本質是一種高度抽象的知識表達載體,通常由矩形、圓形等幾何形狀和箭頭、折線等邏輯符號組成,廣泛被應用于教科書、百科、知識博客等教育場景和專業學科之中。傳音聯合團隊所參加的“教科書示意圖問答”評測任務跨越多種模態的數據(圖、表、文本等),難度大,且涉及多個不同研究方向的技術,包含:視覺對象的檢測與對齊、文本知識的語義理解、跨模態閱讀理解問答、多模態知識表示、適應動態復雜知識的推理過程等。
在比賽過程中,傳音聯合團隊的成員分工合作,首先通過相關調研,找到了一些數據集進行參照對比,分析數據和任務的共性差異。由于賽事組織方提供的數據量較少,初步實驗結果有很大的波動,但團隊成員基于扎實的學科專業基礎知識,堅持逐個解決遇到的困難并且在有限時間內進行有價值的探索實驗,最終取得不錯的成績。
“教科書示意圖問答”評測任務不僅是未來跨媒體智能、智慧教育等應用的重要基礎,也有助于提升計算機對人類認知行為和抽象知識學習習慣的理解。未來,傳音將不斷提升自身科研和創新能力,在AI技術研究和智能終端應用領域繼續發力,推動相關技術在新興市場智能終端多語種語音助手、輿情分析、智能客服等領域的落地應用,以技術創造更多社會價值。