只要對著屏幕豎起拇指，不到1秒，屏幕上便會回應小朋友同樣的手勢，完成一次“點贊”。這是“手勢識別”AI功能帶給小朋友們的互動體驗。在作業(yè)幫直播課“小組直播間”中，“手勢識別”功能收獲了一眾“粉絲”，成為學生互動滿意度最高的功能。
點贊、比心、OK等一系列手勢，既新奇有趣，又能幫助主講老師在線上教學場景中和學生有效互動。而通過AI技術(shù)賦能，作業(yè)幫直播課不斷為線上課堂創(chuàng)造驚喜的同時，也驅(qū)動著在線教育形態(tài)的升級。
需求：讓每一次互動不落空
“讓老師看看，是哪位學生沒坐好??？”“大家回答得特別棒，一起給自己點個贊吧”……在觀察小學課堂時，作業(yè)幫小學產(chǎn)品負責人曹越發(fā)現(xiàn)，師生間的肢體互動是活躍課堂氣氛、提升上課效率的有效手段。
尤其在“小組直播間”雙向視頻的模式下，由于師生間可以互相看見，類似的互動變得更加高頻，一節(jié)課大約有5~6次。
但與此同時，曹越也敏銳地發(fā)現(xiàn)了“即時反饋缺失”帶來的問題。“有時候老師讓孩子給自己點個贊，點贊之后老師沒有說把手放下，有的孩子可能就會一直舉著，因為他們不確定老師是不是看見了自己的點贊。”
一位主講老師同時面對數(shù)千甚至上萬學生的課堂，有限的精力無暇回應每一位學生。是否能有這樣一個功能，讓學生的每一次參與都被感知，每一次互動都被回應？借助AI能力回應小學生在課堂上的互動行為，“手勢識別”功能的需求被提出。
研發(fā)：上班時間“自拍”的程序員
作業(yè)幫智能技術(shù)實驗室負責人王巖團隊接到了這一需求。最初，在產(chǎn)研團隊和主講老師的頭腦風暴環(huán)節(jié)，大概提了出15-20種手勢，單手和雙手都有。“產(chǎn)品要貼近應用，小朋友不理解的和老師上課用不到的，做了也沒用。”王巖說。最后，根據(jù)老師課堂實用性，保留了點贊、比心、OK等常用手勢。
但在功能落地過程中，難點也隨之而來。小朋友比劃的形式、角度等都會影響識別的準確率，這就需要前期盡可能多地收集樣本素材，更準確地定義各個手勢。
針對每個手勢，技術(shù)都會內(nèi)部先錄制一版demo。因為要確定手勢是否貼合小朋友的習慣，需要模擬孩子上課的視角。為此，技術(shù)老師編寫了一個小程序。然后，一群程序員，聚在辦公室里，打開手機前置攝像頭，跟著自己編寫的小程序，模仿小朋友做出各種比心、點贊的手勢。
初版demo完成后，負責產(chǎn)品的聶靖騏開始在灰度測試中收集小朋友手勢，總共發(fā)起4-5次收集。“由主講老師在課中進行引導，讓學生比出點贊、比心等手勢。然后，根據(jù)各種手勢的占比多少進行取舍。”最后，有近萬名學生的2000多種手勢被收錄到系統(tǒng)中。
上線：小朋友互動滿意度最高
2020年初，隨著“小組直播間”的正式上線，手勢識別的功能也被應用到課堂上。
在“小組直播間”中，孩子們獲得了更多關(guān)注，聽懂了就隨手比個OK。他們也會向老師表達感謝，比如拇指和食指疊放，對著鏡頭比個心。
2020年暑期，在小組直播間功能升級調(diào)研中，手勢識別成為小學生互動滿意度最高的功能，有77.14%的小學生表示，非常滿意，平均滿意度達4.7分（滿分5分）。
借助AI技術(shù)，作業(yè)幫讓在線課堂活躍起來，變得更加有趣。對于接下來的規(guī)劃，聶靖騏仍希望這項功能更好地應用到教學場景。“朝著這個方向，我們會繼續(xù)豐富手勢和提高識別準確率，為老師和學生帶來更豐富的體驗。”
作為中國用戶規(guī)模最大的K12在線教育平臺，作業(yè)幫旗下產(chǎn)品總?cè)栈钣脩敉黄?000萬，月活突破1.7億，累計服務學員超6500萬。龐大的用戶體量和豐富的在線教育應用場景，讓人工智能這個“看起來很遙遠”的技術(shù)，得以廣泛應用，融入小朋友的日常學習中。
未來，作業(yè)幫將借助技術(shù)持續(xù)賦能教育，引領(lǐng)更加智慧的在線教育新趨勢。
