近日，影譜科技推出AI賽事內容生成方案Moviebook SAiDT，輔助賽事平臺構建AI智能影像內容一站式平臺，提供動態內容的增強視覺生成與運營，有效降低內容制作成本，提高多類型內容并發能力。
Moviebook SAiDT深度融合了生成式AI（Generative AI）與數字孿生技術，運用獨創的從2D視頻中捕獲動作的估算框架（MCVS）、沉浸式媒體內容創建基礎設施平臺（MAGC）等影譜AI工具棧，SAiDT可以模擬賽道、體育場環境和體育場內導航服務，與賽事內容進行組合輸出新的增強賽事視頻。
本次冬奧會某項目測試賽就成功應用該技術，實現快速、高效地為觀眾提供優質體育賽事視頻內容的目標。同時，基于影譜科技AI視覺識別的體育賽事視頻自動識別系統，還可以對賽事直播信號進行實時識別，在短時間內將海量賽事內容，自動化濃縮成幾分鐘的賽事集錦并定向發布。高效準確、規模化的內容生產模式極大地節省了人力時間成本，并為深度開發體育媒體版權內容價值，創造了更多的可能性。
此外，Moviebook SAiDT方案支持現有設備導入視頻流，支持2D視頻一鍵升級為AI增強視頻，兼顧大批量AI視頻內容的成本效益與運營效率。SAiDT支持對標準視頻流的洞察和分析、提取關鍵幀，使用高技能注釋器進行更準確的數據標記、自動生成新的關鍵數據，創建新的AI增強視頻，并傳送至媒體平臺，同步完成內容生成與商業化運營。
事實上，賽事內容生成及運營是科技冬奧三大戰略方向之一。影譜SAiDT強調實用與技術的融合，將業務流有效分為前端視頻導入與自動識別動作捕捉估算、自動生成與運營場景自適應四個環節，以AI內容生成技術為先進生成工具，實現賽事視頻生成與運營的自動化，讓高門檻、高投入的傳統視頻錄剪業務環節升級為AI流程，并被主要文化與體育內容生態系統所采用。
從2D視頻中高速捕捉動作，SAiDT實現大規模應用
如何實時捕捉運動員的姿勢和狀態是關鍵技術難點。常見的3D姿勢重建模型主要依賴于在運動員身上嵌入額外的傳感器，與之相反的是，體育賽事當中運動員不具有裝特殊傳感器的條件。另一種方法是，可以使用普通手機建立無縫數據收集機制，但鑒于2D視頻缺乏信息深度，使用2D視頻數據開發3D模型是一項挑戰。
影譜科技AI孿生技術團隊開發了一種從2D視頻中捕獲人體動作的估算框架（MCVS），創建一個輕量級的AI運算集，以提取和預判運動員表現及運動軌跡。該系統 MCVS 是一種跟蹤對象并試圖預測其在空間中可能發生的變化的計算機視覺技術，每天可以處理日常視頻網絡上的數百萬端視頻圖像，提取關鍵幀，進行自動結構化，為下游任務提供大量數字化資源，如視頻內容搜索、增強視頻內容生成、視頻識別、衍生視頻游戲生產、賽事視頻內容營銷等。
為此，Moviebook SAiDT支持常規視頻的導入是關鍵一步。例如從手機或相機導入視頻，使用人工智能 (AI) 從標準相機饋送中提取3D運動并疊加洞察力和數據，創建新的2D/3D沉浸式增強圖像。研究人員最近也在嘗試將Transformer架構（一種自然語言處理中的主流模型）用于各種計算機視覺任務并取得了具有競爭力的結果。實際上，很少有工作來探索用于 3D 人體姿態估計 (HPE) 的transformer架構，在這項工作中，影譜科技提出了級聯transformers (cascade transformers)，這是一種基于transformer的新方法，用于從單個圖像進行 3D 人體姿態估計，能夠很好的建模靜態和動態人體關節關系。大量實驗結果表明了其出色的性能。跟蹤只是開始，影譜科技披露的技術結果表明，體育賽事圖像不僅在于收集有關運動員的數據，還在于使用這些數據來創建新的數字內容及分析，完成自動鏡頭分切及自動內容組合下的體育見解。
SAiDT融合AI內容生成技術與數字孿生，體育賽事內容邁向3D
早在2018年，影譜科技推出AI內容生成基礎設施MAGC，強調生成式AI技術與數字孿生技術結合，使開發人員能夠通過低代碼方式構建和管理他們的視頻內容生產基礎設施，提供一系列簡單的AI內容創建工具集，從“生產”出發擴展至全產業鏈。
Moviebook SAiDT方案是AI內容生成基礎設施MAGC在體育賽事的關鍵應用領域，依托數字仿生交互類、3D建模及重建類等成熟的AI算法及穩定的AI工程化能力，可快速生成可視化、交互性強的增強視頻內容，還可創建專屬的運動員訓練模型及賽事錦集。根據內容定位自動剪切為精彩短視頻流。
某賽事運營平臺上線了影譜Moviebook SAiDT平臺，平臺負責人表示，真正的重大轉變是當一項技術不僅用于娛樂或研究，而且被實踐所接受時，類似的技術可能會成為各種運動的標準。數據顯示，使用SAiDT來分析賽事圖像、自動化完成逐個像素注釋，識別關鍵特征進行 3D 姿勢估計，模型就可以完成3D簡化渲染，生成AI視頻內容。影譜SAiDT系統從捕捉到關鍵鏡頭到內容生成、內容交付全過程，能極大降低人力成本。
AI化的賽事內容展播在全球體育產業也達成共識。中商產業研究院數據顯示，2021年我國體育賽事運營總市場規模可達3636.7億元，其中AI自動化內容生產成為剛性需求。計算技術的進步使AI能夠更有效地將 2D 圖像轉換為沉浸式模型，并以最有效的方式向其消費者提供最佳內容。未來，運動員可能會更多地依賴AI處理的海量數據來提升他們的比賽水平，賽事運營平臺也能通過AI自動化內容生成和播報實現更好的發展。
