還記得網友們用PS的Generative Fill花式整活的盛況嗎?
接下來,被網友玩壞的可能要輪到PR了。
無論你是專業的視頻剪輯師,還是業余愛好者,對Premiere Pro(簡稱PR)這款軟件都一定不陌生。
前幾天,Adobe官方發布了一條視頻,快、準、狠地演示了PR即將上線的3個AI功能——對象添加、對象刪除和生成擴展。
用戶可以直接在PR內調用Sora、Pika、Runway等第三方AI視頻模型,來生成視頻片段。
同時,Adobe自研的Firefly系列模型也將集成進PR。
相比于近年來的小修小補,這次更新可以說是一次大重構。
Adobe創意產品部高級副總裁Ashley Still表示,Adobe正在重新構想視頻創作流程的每一個步驟,為創作者提供高效、便捷、易用的功能。
PR+AI,像PS一樣P視頻目前,Adobe旗下的生成式AI模型Firefly已經廣泛應用于Photoshop、illustrator和Adobe Express中。作為對OpenAI的Sora、谷歌的Imagen 2等生成式AI視頻模型的回應,Adobe表示,它們正在Firefly的基礎上訓練一個能夠生成和編輯視頻的全新模型,但尚未透露這個模型何時推出。眼下,讓我們來看看PR將在今年晚些時候更新的幾個AI功能。視頻元素替換如果你想要修改視頻畫面中的某個特定對象或區域,而不是替換整個視頻素材,常用的做法是使用遮罩/圖層,覆蓋想要修改的區域,或者使用克隆修復工具,選擇一個與要修改區域相似的區域,將其復制并覆蓋到目標區域上。過程中通常涉及到比較精細的視頻編輯工作,比如遮罩、效果應用或局部像素的調整,需要一定的視頻編輯技巧和耐心,以確保在進行局部修改時,盡量保持與視頻其他部分的一致性和自然過渡。而在Adobe的演示視頻中,手提箱里如果你想要修改鉆石的密度,只需要用鋼筆工具圈選想要修改的區域,然后輸入提示文本“一大堆寶石”,Firefly就會生成3個不同的視頻素材,選中一個即可完成替換。
給穿西裝的男人加一條領帶,換一塊看起來昂貴一點的手表都不在話下:
從演示視頻來看,替換的效果非常自然,幾乎看不出有什么破綻。視頻元素刪除而對于想要移除的對象——可能是一個吊桿麥克風、一個指示牌、地上的雜物,只需要選中它,右鍵點擊“對象移除”,就可以輕松將其從視頻畫面中移除,雖然結果可能并不十分完美。
視頻生成擴展至于生成擴展功能,只需要打開Adobe Firefly視頻生成插件,拖動視頻的定格幀,Firefly就能將視頻自然延伸數秒。
這種操作被稱為視頻定格幀擴展,傳統的做法較為繁瑣:確定要擴展的定格幀,創建一個新的視頻序列或時間線;根據視頻的總體節奏和所需效果,調整擴展幀的持續時間和速度。可能還需要在選定幀的前后生成一系列中間幀,以平滑過渡到動態效果。如果追求更為精細的效果,在完成動態化處理后,還要進行后期處理,包括顏色校正、特效添加等,以確保擴展的幀與原始視頻的其余部分在視覺上協調一致。而現在,可以通過圖生視頻技術來實現,Sora甚至能夠模擬真實物理世界的運動,這在進行定格幀擴展時非常有用。Adobe相當于把圖生視頻能力集成進了PR,使得用戶不需要輾轉于視頻編輯軟件和AI視頻生成工具。不過,從視頻示例來看,延伸的視頻很短,基本都在3秒以內,有網友認為“最多就72幀,沒多大演示價值”。在生成視頻素材方面,用戶可以直接在PR內調用Sora、Runway、Pika等第三方模型,通過輸入文本提示,如“夜雨中的城市風景”,來生成所需的視頻素材,一次可以生成3個視頻。
為了避免AI生成的視頻被用于深度偽造或傳播虛假信息,Adobe將引入Content Credential(內容憑據),標明哪些內容是AI生成的,以及是用哪個AI模型生成的。但實際上,Adobe在視頻中展示的能力,其他工具也能夠實現,Adobe只是勝在集成、整合和交互體驗上的優化。在PR AI演示視頻發布后,很快就有人用Stable Diffusion的ComfyUI實現了換鉆石的操作。
此外,有知情人士稱,Adobe正向在其Adobe Stock平臺上的攝影師和藝術家支付高達120美元的費用,以讓他們提交短視頻剪輯,這些剪輯將用于訓練Adobe的視頻生成模型。根據提交內容質量的不同,支付的報酬從每分鐘大約2.62美元至7.25美元不等,高質量的視頻剪輯將獲得更高的報酬。
非AI原生的老牌公司“后發制人”?
有人說,這一輪AI技術浪潮最大的受益者,其實是微軟、Adobe這些非AI原生的老牌玩家。
硅谷創投圈有一種常見觀點:“現有公司而非初創公司更有能力利用AI。AI是一種維持技術,它強化了現有玩家的地位,而不是賦予新進入者顛覆性的力量。”
從微軟、Adobe這樣的公司集成AI功能的速度來看,這種觀點的確有一定的道理。
老牌玩家擁有強大的品牌影響力和穩定的客戶群體,似乎只需要調用一個OpenAI的API,就能實現“后發制人”。
不過,從“模型即應用”的角度來說,隨著AI模型被越來越多地集成到應用中,應用產品能力和用戶體驗的提升,越來越受制于基礎模型能力的提升。開發者可以根據特定應用的需求定制和優化模型,使其更加貼合應用場景,模型也可以在與用戶的互動中學習,不斷優化自身性能。
這意味著,現有產品所謂的護城河并非牢不可破,基礎模型公司很容易迎頭趕上,尤其是在競爭尤為激烈的AI視頻賽道。
雖然與Midjourney、OpenAI的DALL-E 3等相比,Adobe的Firefly圖像生成模型在業界的評價并不高,甚至被認為是效果平庸。
但在這場生成式人工智能的競賽中,不采取行動,就意味著用戶流失,以及錯失重要的潛在收入來源。
更不用說,除了OpenAI的Sora、Stable Diffusion的SVD 3D等明星玩家之外,還有很多生成式AI視頻初創企業在不斷涌現。
4月初, AI視頻初創公司Higgsfield宣布獲得800萬美元種子輪融資。Higgsfield計劃將本輪種子資金用于改進公司的視頻編輯工具,以期讓用戶們可以修改視頻中的人物和物體。另外,Higgsfield還將專門針對社媒訓練更強大的視頻生成模型。
Higgsfield的差異化競爭策略是“移動優先、社交優先”,優先考慮IOS和Android應用程序而不是桌面工作流程,優先考慮易用性和對消費者友好的功能,使創作者能夠隨時隨地創建引人注目的社交媒體內容。
在4月17日舉辦的中國AIGC產業峰會上,美圖公司創始人吳欣鴻表示,國內視頻大模型競爭的關鍵點有三——
創意超越現實:視頻大模型需要生成超越現實的畫面,與實拍互補,成為一種新的特效實現方式。工作流整合:視頻生成應用場景有限,需與現有AI能力和傳統視頻技術結合,形成工作流。垂直場景:視頻在電商、廣告、游戲、動漫、影視等垂直場景的“可用性”極為關鍵。
表面上看,國外的如微軟、Adobe,國內的如阿里、字節、美圖等公司,只是借助AI技術更新了一波自己的產品,但最核心的是,它們掌握著從產品落地到市場需求匹配最關鍵的一環:場景。
因此,短期來看,生成式AI視頻創企與Adobe這樣的創意軟件領軍企業,并不在同一維度競爭。通過引入生成式AI技術,提供一站式的解決方案,不僅有利于大大提高創意工作流程的效率,而且可以讓非專業視頻剪輯師也能輕松上手PR,進一步擴大Adobe的潛在市場。