老師提個問題，小朋友們一起喊出答案，這是學校課堂的景象。1月27日開始，這個場景也會在線上課堂呈現了。
在作業幫小組直播間上課的同學，從這一天開始，可以聽到同組同學的發言。而老師也能聽到小朋友們的“發言實況”。
它模擬的，正是線下課堂的互動氛圍。
作業幫小學產品負責人曹越說，希望能讓小朋友們有線下上課的感受：有小伙伴一起學習，有老師關注著你。
模擬這樣的氛圍，不是件容易的事。僅就“聽到彼此”這個集體發言功能的升級版，大家就努力了幾個月。程序員們還加班加點，進行了技術攻堅。
而這只是作業幫借助AI技術，增強課堂趣味性的一個最新功能。
技術服務于教育需求。僅小學課堂，在2020年推出小組直播間后，就怎么增強小組體驗，怎么更靠近真實課堂等方面，不同的AI功能被開發上線。
對于很多地區的小學生和他們的家長，AI可能還是個比較遙遠的名詞，不過小朋友們課堂上喜歡的“比心”、“彈幕”，以及他們現在能聽到小伙伴的聲音，依托的都是AI功能。
“有趣，有方法。”曹越說，這是小學產品理念。讓在線課堂有趣，培養孩子們的學習習慣、學習方法。
在小學產品經理聶靖騏看來，對于孩子們，尤其對于小學低年級的孩子，課堂有趣很重要，“他覺得有意思才可能去理解它”。
老師，我還舉著手呢
“我們想，能不能在大班的模式下，盡可能給用戶更好的體驗。”1月25日，作業幫小學產品負責人曹越說，隨著早先大班直播課的發展，一個老師可能面對太多學生。學生可能會感覺老師關注不到自己，從而不好好聽課，尤其是小朋友。
為增強學生更偏個人的體驗，以及學習了現實課堂的分組教學，曹越他們打造了大班課小組直播間模式。
2020年1月，作業幫小學課程直播模式升級。登錄后，小朋友們會發現自己有了小組。每6個學生一組，每6組形成一個班。
與小組直播間一起上線的，還有雙向視頻。以前直播只有孩子們能看到老師，這次升級后，老師也能看到孩子們了。
從老師一端，可以隨時翻動屏幕，看到不同小朋友的狀態。
跟隨觀察新功能、新產品的使用，是產品經理們的日常。曹越說，觀察課堂，會發現老師和孩子們的互動是很多的。尤其雙向視頻打開后，老師可能提醒孩子坐好，或者告訴小朋友大家很棒，給自己點個贊。而曹越他們也很快注意到了一個問題。
“孩子點贊之后，老師沒說＇把手放下去＇，孩子可能都不會把手放下去。”曹越說，孩子做完一個動作，他很難知道老師有沒有看到。也就是，缺乏反饋。
但一個老師可能同時面對成千上萬個學生。這樣的場景，AI是不是可以幫一下老師？
小組直播間上線后，小組、小班的感覺增強了，怎樣增強互動性，怎樣更好地激發學習興趣？
“我們想在直播間里，再做一些更好玩兒、更有趣的東西。”聶靖騏說。
如果感到幸福，你就比個心
“我們希望那些常見的手勢，可以被（機器）識別出來，系統可以給一些反饋。”曹越介紹，手勢識別這個功能，初衷是及時給孩子們反饋，增強課堂互動性。
“當時也具備了這樣的AI能力，”聶靖騏說，小組直播間上線后，大家也希望能利用好AI，做一些有意思的事。
幾個月后，大約2020年四五月份的時候，產品和技術部門討論，確定了要做手勢識別。
首先去識別孩子們最常用的一系列手勢，比如比心，點贊，ok等。
問題隨之而來：孩子們來自全國各地，他們打手勢的方法可能很不一樣。例如比心，有這樣比的，有那樣比的；有單手的，還有雙手的。
“最早定義手勢比較難。怎么樣去定義一些更通用、更簡潔的手勢。比如說比心這個事，每個人都不一樣，但是技術不可能包容（所有）。”作業幫智能技術實驗室負責人王巖介紹。從技術上，最終的目的，是要保證大家的理解是一致的。
手勢識別，簡單說，就是讓機器“看”到屏幕前一個小朋友的一個動作，它要認識，要給出回應。
要讓機器去認識手勢，先要告訴它某個手勢是什么意思。
先要收集手勢。主講老師向小朋友們發起了手勢征集，征集來幾千個小朋友比手勢的圖片。
王巖介紹，當時，工程師們還給自己寫了個小程序，團隊的工程師假裝是小朋友在上課，去比劃手勢。
收集同一手勢的不同圖片。去掉不多見的手勢，留下常見的，做成模型，然后訓練機器去識別。
幾個月后，2020年暑假課程，第一版手勢識別上線了。
這個功能很快就俘獲了小朋友們的心。
在暑期課后的問卷調查中，9000多名參與的學生，約94%的孩子表示非常喜歡。
他們最喜歡和最常用的，是比心，點贊和Ok。積極而向上。
同學你去哪兒了，回來上課
依然是從2020年暑假課程開始，細心的小朋友會注意到，眼前的屏幕變得非常酷：它不僅“認識”自己做的動作，還能“注意”到自己有沒有好好聽課，乃至能“看”到自己離屏幕有多遠。
如果沒好好聽課，就可能會收到輔導老師的信息提醒，或者媽媽會接到老師電話。
好有意思。
“家長負擔很重，還要陪著孩子上課。而如果是線下，我交給老師，老師幫我看著。”曹越說，利用AI技術，賦能在線課堂，可以給老師們提供很多利器，甚至輔導老師能幫家長看著孩子。
這些利器中，最顯著的一個是孩子們的專注力檢測。
也就是，利用AI去判斷孩子們有沒有認真上課。
“就是AI會幫我們輔導老師篩選出來：要關注這10個孩子，他們現在的專注力已經很低了。”曹越舉例，這時候，輔導老師就會去重點看一下這10個孩子。
這個功能，技術上其實很難。
“比如他有可能發呆，但是畫面跟沉思沒有什么太大區別。”王巖介紹，專注力有很多維度，怎么去定義它，本身就很難。
“這個東西很主觀，什么樣是專注？”曹越說，比如你可以說不正視屏幕是不專注，但這個孩子他可能低頭記筆記。他說，就怎么定義專注力，他們做了非常多的“細維度拆解”。
聶靖騏介紹，剛開始時，很多情形下機器可能判斷不準。比如孩子上課的環境，燈光比較暗，機器“看”不到，它可能認為你離席了。
離席檢測是與專注力一體的一個功能。目的都是關注孩子的上課狀態。
“線下，有老師的參與。但線上，（如果）家里沒有其它人，小朋友自覺性可能會比較差，離席檢測相當于監督他的手段。同時也讓小朋友覺得更有意思，更自覺。”作業幫視覺實驗室程序員楊森介紹。
功能很酷，但是不是準確更重要。系統多一次錯誤，老師就會多浪費一次時間，孩子也會被打擾到一次。
王巖說，開始的時候，離席檢測準確率不夠高，他們就去重點優化。大家把幾個問題嚴重的異常case梳理出來，針對性的分析解讀，把準確率提高到了90%。
除了判斷孩子是否專注，機器還能夠判斷孩子是否距離屏幕太近。
如果發現小朋友離屏幕太近，系統就會彈出一個氣泡來提醒。聶靖騏說，這中間有個平衡問題，不能提醒太頻繁，打擾聽課。
“比如看到你頭都要貼在屏幕上了，就發個提醒。”楊森說，提醒的使用，是非常嚴格的。
小朋友，你咿呀說的是啥？
還是從2020年暑期開始，小朋友們還會發現：咦，可以跟屏幕說話？它不但能聽得懂，還會把自己說的話飄在上面。
這個暑假，作業幫在在線教育行業中，率先推出了彈幕功能。
“以前，老師提一個問題，學生需要點一下輸入法，一下子就占了半個屏幕在下面打字，這樣的體驗很差。”作業幫智能語音技術負責人王強強說，尤其對于低年級的小孩子，一二年級，他們可能還不會打字，或者打字很慢。
但老師和學生又是需要互動的。老師想要知道學生聽課的反饋，而孩子們需要表達，“就像我們在正常的課堂那樣”。
有了語音彈幕功能后，老師問一個問題，學生的頁面上會直接跳出來一個小話筒，他可以直接對著屏幕說話。
然后AI會識別孩子們的發言，“匯報”給老師，比如最高頻的4個回答是什么。
鼓勵孩子開口，參與到課堂中。
“營造很有意思的課堂氛圍。”產品經理聶靖騏介紹，語音彈幕最主要的使用場景是小學語文。例如老師讀完一個故事，問一個開放性的問題，學生就可以直接說。
聶靖騏說，老師們也很喜歡這個功能，例如問孩子們是不是聽懂了，可以很快收到反饋。
從學生的角度，他不用打字，可以快速回答。
王強強介紹，2020年暑期前，他們小規模測試彈幕，發現小朋友很喜歡，孩子們會覺得很智能，屏幕能聽懂自己說話，很驚喜。
暑假正式上線，高并發的問題來了。
什么是高并發？作業幫直播課，有時幾千、幾萬乃至更多的孩子一起上課，老師同一個問題，當孩子們一起開口回答，就是瞬時高并發。
王強強舉例，想象一下春晚搶紅包的場景，幾萬路瞬時打進來，“而我們相當于天天搶紅包”。
也就是，機器需要巨大的“腦容量”，去支撐巨大的瞬時識別能力。
“我們當時壓力特別大。”王強強說，最后是作業幫副總裁羅亮拍的板，加機器。羅亮說，這個功能挺好的，不能因為成本變高就不讓孩子們用了。
“最后買了那么多機器，硬是把它給扛住了。”王強強說。
除了扛住高并發，要讓機器識別出孩子們在說些什么，也不容易。
“一個是，他說的可能不太清晰。然后還可能，他說的話，跟老師的提問沒有關系。甚至和中國話、外國話都沒什么關系，小朋友自創語言。”王強強說，還有時會混有家長的一些聲音。
還有口音問題。學生們來自各地，很多孩子來自三四線、五六線城市，如果普通話不標準，或者說有方言問題，怎么去識別？
王強強說，沒有更好的方法，只能不斷地訓練AI的識別能力。
聽懂孩子們，它是個不斷優化的過程。
“幾千個孩子去說，一定有十幾、二十個說得好的，說得更標準的。”王強強說，然后算法通過半監督的方式自動學習，增強模型。
一起搶答吧，可以聽到彼此了
整體得分9.48分，滿分10分。這是去年暑假后，孩子們對新的AI功能的打分。
產品經理張琴回憶，也正是暑期后這次問卷，他們發現在小組直播間，孩子們已不滿足只是自己說。
70%以上的同學表示：想聽到同組小朋友的聲音。
讓孩子們互相聽到，實現起來，技術難度很高。
最主要是回聲和噪音的消除問題。就想象一下幾萬人一起在線開會，作業幫流媒體客戶端負責人曾建斌說。
到底要不要開發這個功能？產品經理去和技術的同事提需求，探討。
大家爭來爭去，會開來開去，決定還是要上。
并且也要讓老師實時聽到孩子們的聲音。此前孩子們的發言，老師看到的是聲音轉成的文字。
產品經理聶靖騏說，大家覺得這也會營造很好的課堂氛圍，“我同組其他的同學在回答（問題），可能我本來不想說，我聽了別人說，我也想說了。”
但也是極大的挑戰，哪怕一個人的設備傳回噪音，就可能毀了一堂課。
而作業幫的孩子們上課的場景很復雜，使用的設備更是龐雜。
曾建斌說，孩子們可能在菜市場上課，在工地，在商場。背景會是各種噪音。他們使用的可能是無牌或雜牌設備，識別起來很難，更不用說針對機型做適配。
上灰度測試。也就是選特定課堂，小試一下效果。結果有老師說很吵，吵了一堂課。有孩子說，吵死我啦。
問題比預估的還嚴重。曾建斌他們趕緊停了測試。攻堅，加班加點。
去找來所有可能找到的機型，做適配，降噪消音。個別實在識別不出的設備，再想辦法。
據曾建斌介紹，相對棘手的機型，占比大約不到1%，但“這也不能放棄，不能說，你手機不行就不要上作業幫的課了”。
1月27日，作業幫集體發言實現了升級。孩子們可以聽到同組同學了。而老師也可以隨機選取一組同學，聽他們的實時發言。
在小學產品負責人曹越看來，這個功能，也是基于現實課堂的場景，小朋友們能聽到老師，老師能聽到小朋友，小伙伴能聽到彼此。
學習不是一個單向的事情，曹越說，希望孩子們一起，可能就會相互影響，希望能把課上得更好。
建一個渠道，或許你會看到更多可能
寒假到來。小朋友們能聽到隊友的聲音了，但效果怎么樣，他們喜歡嗎？
對于張琴他們來說，新功能上線，對用戶體驗的跟進也就開始了。
而早一些上線的功能，依然需要持續優化。例如專注力檢測。“我們還在不斷去找各種維度，豐富模型。”曹越介紹。
對于曾建斌他們來說，集體發言升級可能只是新挑戰的開始。新的問題隨時可能出現，新的機型，新的噪音。
而每一個問題都可能影響一堂課，乃至更多。
在作業幫副總裁羅亮看來，在教育公司做程序員，它是不一樣的。對于其他行業的程序員，用戶可能是一個數字，一個pv，一個uv。但對于教育公司的程序員，用戶就在你面前，他是一個真實的孩子。
羅亮舉了個例子，有次一個程序員已經下班了，有個輔導老師找他，說有個孩子因為網絡問題無法做互動題急得直哭，這個程序員就趕緊回公司，去看是什么問題。
“我們是在線教育，如果我們技術服務不好的話，老師講得再好，學生體驗也會受影響。”曾建斌說。
在張琴看來，在線教育優勢明顯，匯集了優質資源，觸及更多學生。但局限性也很明顯，例如感知力的影響。
比如，老師是在屏幕后面的，他其實對學生的影響效果會打折扣，張琴說，這種不足需要更多的手段去提升，也就是去不斷減少折扣。
教育應該是拓展一些可能性，語音實驗室負責人（智能語音技術負責人）王強強認為。而技術可以幫助帶來更多的可能性。畢竟，一塊屏幕連接的，是不同地區的孩子和老師。
AI，技術，更好的師資，在王強強看來，都是一種輔助手段。都是“術”。而“道”，是建立一個渠道，一個平臺，讓孩子們看到更多的可能性。他就可能走得更遠。
“其實我們要做的，就是這樣的事情。”王強強說。
