聲明:本文來自于微信公眾號量子位(ID:QbitAI),作者:夢晨 克雷西,授權轉載發布
Sora新視頻,變成“抖音獨占”了。
悄無聲息,OpenAI正式殺入TikTok,加上洗腦配樂直接讓人刷到停不下來,瘋狂引流吸粉中:
短短4天,漲粉10萬,50萬贊——這還是不打槍不宣傳的情況下。
這以后,人類創作者還怎么玩?
Sora新視頻,只發TikTok
在OpenAI剛開的TikTok認證帳號上,悄然更新了不少全新生成視頻。
每一個都很有特點,同樣引發各路熱議。
來感受一下:
a16z合伙人驚呼,如果這是在信息流里刷出來的,絕對分不出真假。
我看過很多AI視頻了,但這一條感覺到了轉折點。
來到真實的短視頻消費場景中,就更顯Sora與競品代差明顯:太逼真,以至于要特別聲明不是真的。
OpenAI可太擔心AI視頻被當真引起不好影響了,不遺余力的以各種方式提醒“這是假的!這是假的!”。
網友開始發出這樣的預警:
從現在開始,你在網上看到的一切都是值得懷疑的,不要相信你的眼睛。
有句老話叫“互聯網時代,沒有人知道你是一條狗”。
現在正式升級成“Sora時代,沒有人知道你是一條不存在的狗”。
下面再來欣賞幾個“抖音獨占”版Sora視頻:
超微距追蹤蟻群,效果堪比紀錄片。
以前DALL·E3畫的靜態圖也可以拿出來重復利用,Sora加工一下再配上電音,就成了爆款舞蹈視頻。
還特意用一條長達1分24秒的視頻,展示了類似抖音特效的AI視頻編輯能力。
直接搞得不少短視頻創作者心態爆炸,要退坑了。
甚至連平臺本身都被降維打擊。
全球估值第一的獨角獸字節跳動,與剛剛躍升第三位的OpenAI之間,似乎正醞釀著一場對決。
UGC王者和AIGC新貴之間,終有一戰。
“字節版Sora”也在備戰
實際上,在Sora一夜爆火之前,字節內部并不缺乏AI視頻技術。
甚至其中一款Boximator還被傳成是“中國版Sora”。
在Sora發布之前Boximator的論文就已經公布,由字節AI實驗室總監李航領銜。
其實Boximator的功能并非根據純文字生成視頻,而是按照文字提示將靜態圖片動態化。
它以字節去年11月推出的PixelDance為基礎模型,加入了新的動作設定方式——
從圖像中框選物體,然后設置運動終點或直接繪制軌跡,就能對動態效果進行精細控制。
形式上,Boximator作為一個插件,與現有的視頻擴散模型結合使用,通過凍結基礎模型的權重,僅訓練控制模塊來實現這一功能。
比如,通過框框畫畫,讓小哈基米按照一定的軌跡追著球跑。
效果上,雖然也有bug(飄走的雨傘沒有傘柄),但與Pika1.0(中)和Gen-2(右)相比,Boximator的動畫明顯更加完整,也更接近文字提示。
從材質和物理效果上看,也是Boximator更勝一籌。
技術層面,從架構上看,Boximator在視頻擴散模型的每個空間注意力塊中增加了一個新的自注意力層,用于處理由對象ID、硬/軟標志和邊界框坐標編碼的控制token。
為了簡化學習“框-對象”關聯的挑戰,Boximator在訓練過程中還采用了一種稱為自跟蹤(self-tracking)的技術。
那么Boximator到底算不算“字節版Sora”?
字節對此傳聞,以辟謠的姿態來回應:
Boximator是視頻生成領域控制對象運動的技術方法研究項目,目前還無法作為完善的產品落地,距離國外領先的視頻生成模型在畫面質量、保真率、視頻時長等方面還有很大差距。
Boximator建立在之前PixelDance(基礎研究)、MagicAnimate(專注于人體動作)等更多字節團隊研究基礎之上的最新成果。
總的來說,這些技術并非針對Sora特意開發,但在AIGC大戰如火如荼的背景之下,仍不失為一種“戰備”。
再加上年前原抖音CEO張楠卸任,專注于剪映,奔赴AIGC風口。
可以說雖然Sora的發布很突然,但字節并不是毫無準備,或者說早就在業務推進中感知到了技術趨勢。
而相比OpenAI與字節這樣早晚要有的對決,視頻行業上下游其他選手,更像是遭遇了一場飛來橫禍。
視頻編輯、素材站遭殃
Sora的第一刀,其實砍向了Adobe。
5天過去了,股價跌跌不休,市值蒸發過百億美元。
危機時刻,Adobe剛剛緊急宣布,組建了一個50人的AI研究團隊。
但是這投入的力度,沒讓大家看出誠意。
29945員工中的50人,只占0.16%。
Adobe代表的是沿用近30年的視頻生產、編輯工具,服務于內容創作者。
不轉型就會變成下一個柯達、諾基亞,但轉型也被認為面臨很大挑戰。
比如有人指出,Adobe坐擁大量數據,但要用過去創作者的成果去訓練AI,就會與這些用戶關系緊張。
也正是因此,Adobe的AI生圖工具Firefly并沒有在自家創意作品社區Behance的數據上訓練,有些束手束腳。
又比如從過去Adobe在AI生圖的表現來看,效果比Midjourney尚且很大差距,如今在AI視頻上又該如何面對OpenAI的技術代差。
Adobe之外,受沖擊第二大的就是素材供應商了,代表公司Shutterstock的日子也不好過。
連馬斯克都認同“這個行業可能消亡”的觀點。
不過Shutterstock也給自己找好了退路,早早與OpenAI簽訂了合作協議,從素材供應商開始轉型訓練數據供應商。
這幾天不斷刷屏的Sora視頻中,就有不少Shutterstock圖片的影子。
還有人開玩笑說,Sora名字四個字母不會就是代表“Shutterstock原創,AI攪拌”吧。
參考鏈接:
[1]https://www.tiktok.com/@openai
[2]https://boximator.github.io/
[3]https://twitter.com/bilawalsidhu/status/1760076742679552273