【ITBEAR】在OpenAISora項目面臨挑戰之際,meta公司向公眾揭示了其最新的生成式AI研究——metaMovieGen。據meta官方博客介紹,這僅是該技術的“初步亮相”,正式應用尚需時日。
metaMovieGen展現了強大的功能,包括從文本生成視頻和音頻、編輯現有視頻以及創作全新視頻內容。經過人類評估,該技術在相關任務上的表現甚至超越了行業內的其他類似模型。
在具體應用上,metaMovieGen在人物動作和動物生成方面取得了顯著成效,生成的視頻在長時間和大幅度動作的表現上尤為逼真,盡管仍存在一些細微的不足。
meta強調,MovieGen的訓練完全基于公開或已獲得授權的數據集。作為公司的第三波研究成果,MovieGen融合了多種模態,并為用戶提供了更加精細的控制選項。
在技術層面,MovieGen采用了創新的多階段訓練方法,并借助大量的H100GPU進行訓練。在推理階段,meta也引入了新穎的思路。
基于這一基礎模型,meta進一步開發出了個性化視頻生成和精確視頻編輯功能,同時在音頻生成方面也取得了令人矚目的成果。
meta在多個技術領域展現出的創新力和突破性成果無疑引發了業界的廣泛關注。然而,關于metaMovieGen是否將免費提供給公眾使用,公司尚未給出明確答復。