基于 Adobe 自己的大模型 Firefly 的能力，可以在視頻素材上直接添加或減少內容，轉場時感覺少點烘托背景的鏡頭，用 AI target=_blank class=infotextkey>OpenAI 的 Sora 可以自動生成一段。
Adobe 全家桶馬上就要擁有最先進的生成式 AI 視頻創作能力了。
今天，Adobe 宣布了 Premiere Pro 全新版本的更新計劃。其中包含為第三方 AI 視頻生成模型添加插件，不論是 OpenAI 的 Sora 還是 Runway 的 Gen-2 和 Pika，很快都將出現在 Adobe 工具體系中可被人們所用。
現在，基于 Adobe 自己的大模型 Firefly 的能力，你可以在視頻素材上直接添加或減少內容。
轉場時感覺少點烘托背景的鏡頭？現在用 OpenAI 的 Sora 自動生成一段就行了。
Sora 可以在每次 API 調用中為自然語言提示創建最多三種視頻變體。
新工具也可以用來「憑空延長」已有鏡頭內容的長度，不過這一部分似乎不受提示詞的控制。
自今年 2 月 OpenAI 推出 Sora 以來，我們一直只能看官方在 TikTok 賬號里放 AI 生成視頻的 demo，真正的工具還是在「即將發布」的狀態。現在新版 Adobe Premiere Pro 都亮相了，可能預示著新技術馬上即將落地。
對于 Adobe 高達 3300 萬的 Creative Cloud 付費用戶群體來說，這更是一件大事，它可能會帶來設計領域最徹底和革命性的變化。
有了這一功能，Premiere Pro 用戶將能夠編輯和處理傳統攝像機捕獲的實景視頻以及 AI 素材并與之混合。想象一下，拍攝一個演員表演逃離怪物的場景的視頻，然后用人工智能生成這只怪物 —— 這一步不需要道具、服裝和演員，而兩個視頻片段可以在同一個編輯器中訪問并組合在同一個視頻文件中。
對于使用更成熟的流程（從計算機到手繪幀）創建的動畫也是如此，這些動畫可以與 Premiere Pro 上同一文件中匹配的 AI 素材混合。
值得一提的是，從 Adobe 的演示里，我們再次看到了 OpenAI 的 Sora 和其他類似產品存在代差 —— 其生成的視頻效果要比其他可用工具要好很多。
與 Adobe 之前發布的許多與 Firefly 相關公告不同，這一次新視頻生成工具尚未確定發布日期，Adobe 只是表示它們將在今年推出。
引入第三方先進 AI 大模型對于視頻處理來說屬于面向未來的探索。據 Adobe 稱，這一想法旨在為 Premiere Pro 用戶提供更多選擇。Adobe 還表示，其內容憑證標簽可以應用于這些生成的剪輯，以識別使用哪些人工智能模型來生成它們。
Adobe 的 Premiere Pro（PR）自 1991 年底首次發布 mac 版以來，一直是世界上最受歡迎的視頻編輯程序之一，如今已被世界各地的主要好萊塢電影剪輯師和獨立電影制作人使用。它即將迎來一場其 33 年歷史上從未有過的革新。
需要注意的是，Adobe 尚未確定何時將這些第三方 AI 視頻生成器集成到 Premiere Pro 中，而且細節似乎還沒有完全敲定，許多第三方工具在發布后都需要付費訂閱。
此外，Adobe 還使用自己內部的生成式人工智能產品（如 Firefly 和 Generative Fill 等），強調其模型是根據其擁有或已獲得許可 / 有權使用的數據進行訓練的，例如 Adobe Stock 創作者貢獻的內容（盡管這令一些 Adobe Stock 攝影師和藝術家感到懊惱）。
Adobe 加碼生成式 AI
Adobe 專注于多媒體創作和創意軟件產品，在生成式 AI 技術爆發后，這家公司不甘落后快速加入了戰局。
上周，據報道，Adobe 在競爭對手 Midjourney 生成的一些圖像上對 Firefly 進行了訓練，Midjourney 本身基于開源 AI 模型 Stable Diffusion，在公開抓取和受版權保護的網絡數據上進行訓練。
今天，Adobe 宣布 Firefly 文本到圖像生成模型的一個版本將在「今年晚些時候」集成到 Premiere Pro 中，從而提供一套全新的「生成式 AI 工作流程」及功能。
例如，「生成式擴展」功能將讓視頻編輯和電影制作人「無縫添加幀以使視頻剪輯更長」，而無需拍攝任何新的鏡頭，這可能是一個非常有用且省錢的功能。Adobe 還表示將讓視頻實現更平滑的過渡，例如將過于突然結束的剪輯延長，以在某個時刻或動作上停留更長時間。
Firefly for Video 還將確保 Premiere Pro 用戶可以執行智能「目標檢測和移除」功能，本質上是突出顯示視頻中的對象（道具、角色、服裝、風景等），并允許 AI 模型跨不同幀跟蹤它們。同時，用戶還可以利用生成式 AI 將這些對象編輯為新對象，快速更改角色的服裝或道具，甚至跨多個剪輯和攝像機角度完全移除對象。
最后，Firefly for Video 還將附帶文本到視頻圖像生成器，使其可與 Sora、Runway、Pika 和 Stable Video Diffusion 相媲美。
盡管目前還只是預覽版，但 Adobe 針對 Premiere Pro 提供的新一代 AI 集成功能已經贏得了電影制作人和社交媒體創意人士的掌聲。
「這對我的真人電影工作非常有幫助」，導演 Kevin K. Shah 說道。
本文作者：澤南、小舟，本文來源：機器之心，原文標題：《Sora加入Adobe全家桶，視頻改圖加戲樣樣行：PR大更新預告》
