作者：luckyzhliu
這幾年短視頻行業的迅速發展，視頻內容生產作為內容生態的重要一環。智影是一個集素材搜集、視頻剪輯、后期包裝、渲染導出和發布于一體的免費在線剪輯平臺，能夠為用戶提供從端到端的一站式視頻剪輯及制作服務。智影已接入多個騰訊系內容生態產品，幫助用戶提升視頻剪輯效率和成片優質率。背后的技術方案是如何實現的呢，一起來看看 TAVMedia。背景
這幾年短視頻行業的迅速發展，視頻內容生產作為內容生態的重要一環，逐漸成為內容平臺必備基礎能力，像手 Q、抖音、快手、視頻號等各種內容或社交類產品，都需要音視頻編輯能力。除短視頻行業之外，AMS 廣告對于動態視頻需求也愈發強烈，游戲行業對于戰報視頻也成為剛性需求，比如頭部的王者戰報、吃雞戰報等等。
但是音視頻編輯相關業務復雜度，技術門檻比較高，已成為業務團隊最主要的發展瓶頸。從下邊的框架圖，可以看出視頻發布的技術需求非常復雜，最上層用戶可以感知的業務能力，比如視頻裁剪拼接、音樂或貼紙添加、AI 效果和模板應用等等，而只是冰山浮出水面的一角，要實現這些復雜的視頻發布需求，需要設計一個龐大的渲染系統，還要解決大量音視頻相關的硬件兼容性問題。
迭代與演進
當前團隊的主要成員都是最早微視發布器的骨干，深耕視頻剪輯這個領域已有 4 年+，已接入騰訊 40 多款業務目前已對外開源的就是團隊的產物，視頻剪輯方案也經歷了 TAVKit、Light SDK 這 2 個歷史版本迭代，最終走到了 TAVMedia。
TAVMedia 是什么
TAVMedia 全平臺視頻剪輯方案集合了跨平臺渲染框架、音視頻編解碼、PAG 動畫工作流、可自定義擴展的濾鏡框架、視頻生成云服務等能力，新的方案提供了行業領先的動效素材生產工具，動效素材資源商店，有利支撐了業務方海量動效素材需求，當前已為 AMS 模板產量帶來了 16 倍的增速，為智影提供了 3500+可復用的素材；TAVMedia 實現了全平臺覆蓋，包括 Web 端、服務端、移動端、PC 端，并為各端提供了一致性對外接口，除了標準化原子素材格式 PAG，也統一了模板素材、自由剪輯模板的格式，讓視頻生成服務和特效素材可以在各個業務場景中打通復用。標準化了視頻渲染生成服務，為騰訊智影、AMS 等業務服務端渲染效率提升了 3-5 倍，顯著降低了服務器成本，在騰訊視頻年中運營活動中，實現了僅 1 人天的開發成本就完成了服務對接。
TAVkit
TAVKit 以 Timeline 的軌道結構與渲染鏈的組織方式來串聯了微視內的視頻剪輯能力，靈活支持了 AI 特效、PAG 模板、一鍵出片等需求， 2019 年立項開發，帶 UI 的版本 TAVCut 獲得騰訊 2020 年上半年卓越研發獎，目前已接入了王者榮耀、手 Q、微視、鵝剪等公司內部業務。但由于 TAVKit 誕生自移動端業務，因此只支持 Android、IOS 兩端，沒有做到跨平臺，且同時需要維護 2 套代碼。
Light SDK
為了解決視頻剪輯方案跨平臺的問題，2020 年 Light SDK 應運而生，該方案通過 ECS 系統，靈活組織了這些年積累的 100 多項能力；一套代碼應用到移動端、PC 端，減少了代碼維護與問題解決的成本；統一了拍攝與視頻剪輯方案，該方案比較完美的解決了拍攝上的 AI 能力如何應用到視頻剪輯上的問題，只是輸入源上一個來自 Camera，一個來自視頻畫面，當前美攝 SDK、剪映 SDK 都是這種方式，但拍攝與視頻剪輯還存在許多差別，簡單列舉下：
-
同一時刻，拍攝的畫面只有一路而視頻剪輯可以有多路，所以在 AI 識別與特效處理上都有邏輯上的不同
-
拍攝中的 AI 事件與數據具有不確定性，而視頻剪輯中的畫面都是固定的，也就是 AI 時間與事件都是確定的，這點就可以做諸多優化。
-
為了兼容拍攝，AI 觸發與腳本控制的玩法，需一開始時初始化耗時比較高的觸發需顯示的資源（相應的內存占用也高），在該資源顯示完后也不敢對其進行回收，因為怕又被觸發顯示，這樣會導致內存占用高。
-
在 AI 觸發或者腳本控制的相關玩法中，seek 時的畫面與預覽畫面不一致，因為有可能 seek 會跳過視頻觸發點。
目前手 Q、微視 android 都已遷移到這種方案，該方案提供了可視化的玩法編輯器，一套玩法可同時應用在拍攝與視頻編輯的場景，雖有些資源占用上的瑕疵，但微視與手 Q 這種移動端上的拍攝與后編輯都需要的業務不失為比較好的方案。
TAVMedia
針對 light sdk 里視頻編輯和拍攝合并的 ecs 架構導致無法真正對視頻編輯進行優化的問題，同時也有不少 web 端與服務端的業務過來咨詢視頻剪輯的方案，為了真正做到全平臺覆蓋（支持 Web、小程序和服務端），我們啟動了 TAVMedia。在 TAVCut、Light SDK 這 2 個方案的積累下，TAVMedia 做了如下的優化：
-
業務中所有軌道數據（圖片、視頻、特效、濾鏡）在 TAVMedia 都有對應的 clip，而非 Light SDK 中的模板數據。
-
所有渲染結構都支持 CPUGPU 任務分離，充分利用每個渲染間隔，高并發渲染。
-
渲染節點之間絕大部分由紋理傳遞方式改為 FrameBuffer 傳遞方式，減少離屏的次數實現渲染合并。
-
在擴展性上，業務可自定義的 effect 效果，只需要將其 add 到 TAVMedia 的 Composition 中即可。
-
更加靈活的預加載策略，在視頻、特效、PAG 軌道確定的情況下，預初始化 CPU 資源。
針對 web 端和服務端的應用場景，我們做了如下的優化：
-
TAVMedia 支持渲染結構實時序列化和反序列化，方便草稿存儲、web 端預覽與服務器導出間通信。
-
更加智能的分段導出策略，根據服務器的 CPU 數量，以及導出一段視頻所需的線程數量，智能分段導出。
-
純凈的視頻片段（該視頻段沒有特效濾鏡），無需渲染，只需要轉碼導出，減少渲染耗時。
上訴點的技術細節，在后續的文章中逐一介紹。
工作流程
除 SDK 之外，我們還提供了可視化的制作工具，設計師只需要在自己最熟悉的動效制作環境 AE 中，設計完成后一鍵導出成 PAG，包括原子特效與視頻模板，并在桌面端提供了效果一致的預覽工具，來查看效果與性能，確認 OK 之后，可一鍵上傳到動池素材商店，當然也可以私藏。各個垂直場景在自己動效產能不夠情況下，也可以在動池素材商店下單，內外部設計師接單之后用制作工具設計完成后，再上傳到各業務的素材管理后端，通過 TAVMedia SDK 渲染導出成 MP4。另外這個視頻中所用到的 AI 事件比如游戲事件、AMS 廣告事件都前置識別，這樣有幾個優點：
-
AI 事件識別庫與 TAVMedia 渲染庫，從流程上做到解耦。
-
解決在 AI 觸發或者腳本控制的相關玩法中，seek 時的畫面與預覽畫面不一致的問題
-
兼容各個業務情況，比如游戲事件、音樂卡點、AMS 廣告事件都是前置預設好的。
業務落地形式 SDK
智影是 TAVMedia 第一個落地業務，TAVMedia SDK 為智影帶來了：
-
為智影提供了 3500+可復用的素材。
-
從 Web 端到服務端全套解決方案，且 web 端和服務端協議數據打通。
-
渲染性能相比于原來老的渲染導出性能提升了將近 3.9 倍，也意味著服務器成本降低了 80%左右。
PaaS 服務
除提供 SDK 外，還可以提供標準化的視頻渲染 Paas 化服務，以 AMS 廣告業務（之前已接入 PAG 的方案）為例，接入 TAVMedia Paas 服務可以為其帶來：
-
性能優化：同樣的資源情況下，通過提升 CPU 利用率和優化渲染鏈路，使得渲染耗時比降低 26.67% ，從 0.451 到 0.331
-
成本優化：同樣任務量，同樣的任務完成時間，CPU 核心降低 24.6%，內存降低 94.5%，總成本錢降低 39.2%。詳見（實驗設計，根據 52 個生產環境錄制請求和 16 個 consumer 實例集群測試結論）
-
穩定性加固：解決自動擴縮容問題、增加監控手段 7 個，定位問題手段 2 個，最終成功率 SLI 保障（內網） 99.95%（原來舊集群 99.95%）
-
遷移成本低：1 人天完成開發，協議兼容現有 AMS 業務請求，增加少量字段如鑒權和租戶信息
-
減少人力成本：不需要 AMS 運維
-
新業務接入效率高：增加 TAVMedia-Template 適配層，新業務進入服務端只需更新 js 文件即可
1.平均渲染耗時減少: 31.91%
2.平均渲染耗時比減少: 26.67%
智影，在云端剪出你的故事！
歡迎登錄智影：https://zenvideo.qq.com
歡迎關注智影公眾號智影 Zenvideo 了解最新產品與活動信息
