【ITBEAR科技資訊】7月26日消息，智譜AI今日宣布對其視頻生成模型進行了全面升級，并正式推出了新一代產品——CogVideoX。據悉，CogVideoX模型已在智譜清言的PC端、移動應用端以及小程序端全面上線，所有C端用戶均可通過智譜清言的AI視頻生成功能“清影”(Ying)免費體驗AI文本生成視頻和圖像生成視頻的服務。
據ITBEAR科技資訊了解，CogVideoX的核心技術特點顯著。為解決內容連貫性問題，智譜AI自主研發了一套高效的三維變分自編碼器結構(3D VAE)。該結構能夠將原始視頻數據壓縮至原始大小的2%，顯著降低了視頻擴散生成模型的訓練成本和難度。同時，結合3D RoPE位置編碼模塊，該技術在時間維度上提升了幀間關系的捕捉能力，從而建立了視頻中的長期依賴關系。
在可控性方面，智譜AI打造了一款端到端的視頻理解模型，該模型能夠為大量視頻數據生成描述，增強了模型對文本的理解和對指令的遵循能力。這一創新確保了生成的視頻更加符合用戶的輸入需求，并能夠處理超長且復雜的prompt指令。
此外，CogVideoX模型采納了一種將文本、時間、空間三維一體融合的transformer架構。該架構摒棄了傳統的cross attention模塊，設計了Expert Block以實現文本與視頻兩種不同模態空間的對齊，并通過Full Attention機制優化模態間的交互效果。
“清影”作為智譜AI推出的AI視頻生成功能，其主要特點包括快速生成、高效的指令遵循能力、內容連貫性以及畫面調度靈活性。用戶只需30秒即可完成6秒視頻的生成，即使是復雜的prompt，“清影”也能準確理解并執行。同時，生成的視頻能夠較好地還原物理世界中的運動過程，鏡頭也能流暢地跟隨畫面中的主體移動。
智譜大模型開放平臺bigmodel.cn也已部署了“清影”。企業和開發者可通過API調用式體驗并使用“清影”的文本生成視頻和圖像生成視頻功能。這一舉措無疑將進一步推動AI視頻生成技術的應用與發展。
