最近,人工智能(AI)頻頻刷屏,各行各業的AI應用層出不窮,AI似乎已經變得無所不在。在媒體行業,AI應用也漸漸走入視野,智慧媒體時代呼之欲出。在傳統媒體領域領先多年的成都索貝數碼科技股份有限公司(以下簡稱索貝),當然不逞多讓,在AI領域積極布局,除自建團隊之外,還積極各AI頭部企業尋求合作,面向媒體應用場景,走出了一條獨特的自主創新之路。
AI面向媒體應用場景
之前很多人對索貝的印象還停留在傳統廣電企業上,實際上,索貝通過積極的戰略布局,在視頻云、大數據、區塊鏈等領域進展迅速,并在媒體AI領域形成突破。
比起阿里、騰訊等互聯網巨頭,作為世界級專業視頻技術及解決方案提供商及視頻技術創新工場,索貝更關心媒體用戶在AI落地上的訴求和痛點。通過調研發現,隨著人工智能技術越來越多普及,其他行業應用落地的發展,媒體行業用戶對AI落地期望很高,例如,根據文稿能直接制作出短視頻;體育、綜藝、時政、影視等多種節目形態的快速智能剪輯;新聞節目中各片段的拆分,綜藝節目拆分,影視劇關鍵段落拆分等。
根據這些應用場景,最開始,索貝也像其他廠商一樣,只是將AI能力引入到系統中來,原來的轉碼、合成之類的服務器,加上新的AI執行器,比如語音識別、人臉識別等等,以集成為主。但很快,通過不斷的實踐,索貝和客戶達成共識,這樣的做法行不通。
因為在AI的三大要素——算法、算力、數據中,算法和數據都會因不同場景而不同,如果在媒體行業中AI能力“有什么用什么”,一方面在業務場景上有局限性,另一方面也因為訓練數據集的差異,在泛化能力上是有局限性。因此,索貝需要的是實現“要什么做什么”,實現媒體行業獨有的AI。
只有建立起面向用戶價值場景的AI應用的實際能力,才能實現AI與媒體行業深層次的融合,所以索貝AI的做法是——面向媒體場景算法和數據,實現媒體行業自己的AI技術與能力。
自建團隊攻關AI
在人工智能方面,索貝堅持長期的資源、資金和人力投入。根據對用戶需求和痛點的分析,索貝專門成立媒體智能實驗室,由30余名AI算法工程師組成算法研究團隊,并與上海交大、四川大學、鵬城實驗室等科研單位進行深度合作。目前,索貝已經發表SCI檢索已達10篇,專利10余項。最近一篇被接受的SCI論文《孿生標簽LDA:一種面向文檔分類的監督式主題模型》。
據了解,索貝是業內唯一這樣做的廠商,索貝認為,有自建團隊才有自主研發算法的可能,這也符合國家核心技術全面國產化,核心設備國產化的發展要求。索貝始終堅持AI結合業務的研發原則,旨在打造最懂媒體行業的人工智能技術。
對于通用的,成熟的AI能力,索貝已與商湯、訊飛、華為、騰訊等廠商也建立了戰略合作關系,不論在技術和市場層面都有著良好的合作。索貝始終站在客戶角度,以實際應用效果出發,為客戶選擇提供更好的AI落地效果。
推進媒資智能化發展
在BIRTV2020期間,索貝自主研發的新一代融合媒體內容管理平臺Media Asset Hive(簡稱MAH)正式亮相。
索貝AI團隊針對新聞、體育、綜藝節目等不同種類節目建立起智能化標簽體系,以自研AI算法為支撐,產生了豐富的語義標簽,提高內容搜索效率,支撐了內容推薦,快速編目,內容交換等應用場景,為電視臺以及其他媒體行業提供專業內容管理解決方案及服務。
MAH獨創性得實現了新聞融合生產過程中各種內容對象關聯關系的管理。結合智能內容挖掘,結合智能內容挖掘,MAH可顯著降低節目制作過程中的人力成本,提高新媒體發布的處理效率,將更多的人力從資源管理、素材歸檔等工作中釋放到內容創作中去,帶來良好的社會效益和經濟效益。
MAH還是媒體行業第一個投入實用的Cloud Native媒體內容管理平臺,讓媒資系統不再只是具備歸檔、編目等簡單功能,而是要不斷推動媒資向平臺化演進。在今年全國兩會期間,廣東臺創新運用了“5G+AI”的創新技術,實現了每天約3小時的直播收錄、智能分析、基于分析結果快速編輯、發布,索貝新一代MAH智能媒資系統也首次在省級臺中亮相,提高了生產效率。
自8月17日起,索貝VR全景展廳在官方網站(www.sobey.com)正式開啟,屆時,MAH也開放體驗,所有人可以通過VR互動的方式,訪問相關頁面,用自己的視頻、圖片等素材,真切體驗到MAH的強大智能以及電視臺AI應用的真實環境。
新聞AI制作大放異彩
在2019年的國慶大閱兵現場,中央廣播電視總臺AI剪輯的短視頻令人印象深刻,其幕后支撐技術正是來自索貝。
索貝牽手央視新聞對現場的閱兵方陣進行了AI視頻剪輯的實地操作。從大閱兵三軍儀仗隊進入視線開始,通過新聞云,AI引擎能夠自動編輯前方70余個機位的畫面內容,平均耗時90秒。而如果以人工剪輯,每個方陣的視頻剪輯完成需30分鐘。整個閱兵期間,平均每隔3分鐘就有一篇新聞從索貝的系統發出面向用戶,滿足了新聞的時效性。這是央視新聞新媒體首次運用AI人工智能技術到短視頻剪輯當中,同時也是索貝媒體智能布局成果展示,事實證明,索貝實至名歸。
索貝AI團隊在接到任務后,經過梳理發現,針對新聞新媒體國慶報道AI剪輯需求,實現敬禮動作識別、有效鏡頭檢測、方陣識別等這些算法都不是通用算法,市場上想買都買不到,必須依靠索貝自身的算法研究團隊。最終,團隊基于索貝麒智AI平臺,開發出視頻AI智能剪輯系統,利用平臺積累的計算機視覺、音頻、自然語言處理算法,進行快速定制、訓練算法提取視音頻特征,同時結合平臺具備的大數據分析處理算法及工具,進一步完成數據及特征分析整合,形成應用所需的有用的信息及知識,最后結合編輯場景所需完成最后的知識應用,形成AI編輯生產力,完成之前需要大量人力投入的編輯工作。AI剪輯平臺以圖像識別技術為基礎,結合語音識別等人工智能技術,設計開發了隊伍方陣識別、有效鏡頭檢測、自動合成剪輯三大類智能處理模型,通過三類模型的綜合應用,實現智能剪輯功能。
也就是說,在媒體行業,一項AI技術的落地要經過深度業務理解、工程建模,再配合自研的特定算法選型、特定數據訓練和調優以及相關領域的知識才能完成,這恰好也是通用AI廠商所欠缺的。
事實證明,索貝面向媒體融合的AI道路是正確的,索貝AI應用不斷落地。除了70周年大閱兵AI剪輯,早在2019年初,索貝第一次將智能技術用于體育節目后期制作——CBA籃球智能剪輯,大幅提升體育賽事縮編效率,快速實現互聯網發布。2020年春晚進行時,索貝又第一次將AI應用在綜藝制作領域,突破AI剪輯的“綜藝”禁區,實現了從0到1的驚人突破,超預期滿足了總臺電視節目播出和新媒體發布的高質量要求。
在媒體AI領域的暫時領先并不會讓索貝滿足,在未來,索貝將協同產業鏈各方,共建和諧的產業生態,助推智慧媒體時代加速到來。
關于索貝
成都索貝數碼科技股份有限公司,成立于1997年,20余年來始終堅持自主創新,核心突破AI、大數據、云計算、區塊鏈等高新技術,在超高清、融合媒體、智慧媒體、媒體云等市場持續領跑,擁有74件專利和436件軟件著作權,先后榮獲國家科技進步一等獎、多項省部級科技進步一等獎、IABM Peter Wayne年度大獎等國內外重要榮譽,是國家高新技術企業、國家規劃布局內重點軟件企業、國家文化出口重點企業、國家科技與文化融合示范基地、國家級企業技術中心,已成為名副其實的世界級專業視頻技術解決方案提供商及視頻技術創新工場。索貝在新聞、體育、綜藝市場始終保持領先,為超過5000+用戶提供產品、方案和服務,擁有中央廣播電視總臺-CCTV、中央廣播電視總臺-CGTN、中國藍云、青島廣播電視臺、長興傳媒集團等各級專業媒體高端樣板,在70周年國慶大閱兵、九三閱兵、G20峰會、歷屆奧運會、歷年兩會等重大活動支撐中表現優異。在國內市場全面開花的同時,索貝在國際高端媒體市場完成超越,贏得路透社為代表的國際主流通訊社、德國之音、瑞士國家電視集團等青睞,產品已行銷30多個國家、地區的200余家媒體機構。面向未來,索貝以媒體業務為依托,以視頻技術為基礎,以數據融合促發展,通過全新的“視頻+”戰略向專業媒體、海外、泛媒體、政企數據全面進軍,協同視頻產業鏈各方共同“智”造全新視界