生成長達一分鐘的視頻，更加自由尺寸的視頻，支持向前以及向后擴展視頻，多個視頻的連接，涌現出真實物理世界模擬的能力
AI target=_blank class=infotextkey>OpenAI的Sora模型是最近兩天最火熱的模型。它生成的視頻無論是清晰度、連貫性和時間上都有非常好的結果。在Sora之前，業界已經有了很多視頻生成工具和平臺。但為什么Sora可以引起如此大的關注？Sora生成的視頻與此前其它平臺生成的視頻到底有哪些區別？有很多童鞋似乎對這些問題依然有疑問，本文將以通俗的語言解釋Sora的獨特之處。
OpenAI Sora視頻生成能力與其它平臺和工具的對比表
在這里，我們先用一張表格來展示OpenAI Sora與其它視頻生成工具（如Runway Gen2、Pika等）的區別。然后我們針對OpenAI Sora的特別之處進行詳細解釋。
從這個表單可以看出，不論是基本的視頻生成能力（時長、長寬比），還是更強的視頻連續性、真實世界模擬等，OpenAI Sora都有無可比擬的優勢。其中，視頻清晰度，OpenAI Sora默認是1080P，而且其它平臺大多數默認的清晰度也都是1080P以下，只是在經過upscale等操作之后可以達到更清晰的水平。
上述視頻生成能力項中，視頻連接、數字世界模擬、影響世界狀態（世界交互）、運動相機模擬等都是此前視頻平臺或者工具中較少提及的，下面我們也將詳細解釋。另外值得一提的是，OpenAI Sora模型還可以直接生成圖片，也就是說，它是一個以視頻生成為核心的多能力模型。
OpenAI的Sora視頻生成的能力概覽
首先，在詳細描述Sora視頻生成與Runway Gen2等平臺的差異之前。我們先總結一下Sora視頻生成的一些能力。
OpenAI Sora可以生成長達一分鐘的視頻
在OpenAI發布Sora之前，業界基于大模型生成視頻的主要平臺有Pika、Runway Gen2等，但是這兩個平臺視頻生成默認都是幾秒中，即便通過視頻擴展等手段，最多也只能生成十幾秒的視頻。而OpenAI的Sora可以生成最多1分鐘的視頻。并且視頻生成的結果非常連貫和清晰。
OpenAI Sora可以生成更加自由尺寸的視頻
根據OpenAI的Sora技術報告，Sora模型可以采樣寬屏1920x1080視頻、豎屏1080x1920視頻以及介于兩者之間的所有尺寸視頻。這意味著它可以生成更加自由的視頻尺寸。而此前的視頻平臺，如Runway Gen2，文本生成視頻的方式只能選擇16：9， 9：16， 1：1， 4：3， 3：4， 以及 21：9的長寬比。至于清晰度，則默認1408?×?768px。
上圖是生成海歸游泳的視頻，不同尺寸的視頻里面海歸都是正中間位置，不會出現主要目標被剪裁的情況。
OpenAI Sora可以支持向前以及向后擴展視頻
這是OpenAI Sora另一個與此前視頻生成平臺有巨大差異的地方。基于已有視頻繼續擴展在Runway Gen2、Pika等平臺都有。但是現有平臺的視頻擴展通常是在當前視頻的基礎上繼續向前生成幾秒的視頻。但是，OpenAI Sora可以在視頻的基礎上向前或者向后擴展。例如給定一個視頻，OpenAI Sora可以為該視頻創造不同的開頭，最后都是以該視頻結尾，過程非常連續。因此，Sora甚至可以在一個視頻上同時向前和向后擴展，以產生一個無限連續的循環視頻。
OpenAI Sora支持多個視頻的連接
這是另一個Sora與眾不同的地方。給定兩個視頻，OpenAI Sora可以將這兩個視頻揉在一起，生成一個新的毫無違和感的視頻。例如，給一個無人機穿越古羅馬建筑的視頻，再給一個蝴蝶在海底珊瑚飛行的視頻，Sora可以生成一個新的視頻，讓無人機變成蝴蝶，古羅馬建筑變成珊瑚風格。
上圖是兩個例子，左右兩邊是原來的2個視頻，中間是基于這原有的2個視頻連接后生成的新的視頻。第一個就是剛才的蝴蝶與無人機的案例。第二個是圣誕節雪景和真實拍照的建筑視頻的融合。
OpenAI Sora涌現出真實物理世界模擬的能力
OpenAI Sora可以生成更加真實的物理世界的視頻。例如東京街頭逛街的時尚女模、登山運動員等。但是，與其它平臺的真實物理世界視頻生成不同的是，OpenAI Sora可以以運動相機拍攝的方式來展示視頻，包括運動相機的轉換、旋轉等。而這里最大的特點是運動相機拍攝的結果通常要與物理世界的三位空間一致，因此非常困難。但是Sora可以生成非常逼真的運動相機拍攝的視頻結果。
此外，視頻生成系統面臨的一個重大挑戰是在對長視頻進行采樣時保持時間一致性。OpenAI Sora經常（但并非總是）能夠有效地對短距離和長距離依賴關系進行建模。例如，即使人、動物和物體被遮擋或離開畫面，Sora模型也能保持它們的存在，在后續的視頻中依然出現原有的人物或者動物。同樣，它還能在單個樣本中生成同一人物的多個鏡頭，并在整個視頻中保持其外觀。
同時，Sora有時可以模擬一些影響世界狀態的簡單動作。例如，畫家可以在畫布上留下新的筆觸，并隨著時間的推移而持續，或者一個人可以吃一個漢堡，并留下咬痕。
OpenAI Sora可以模擬人工過程
除了真實的物理世界外，OpenAI Sora還可以模擬人類創造的一些世界或者過程。Sora模型可以通過理解語言提示來模擬和渲染視頻游戲世界（如Minecraft）的高級能力。它不僅能夠以高保真度同時渲染游戲環境和動態，還能控制游戲中的玩家角色，執行基本策略。這種能力表明Sora不僅具備強大的語言理解和任務推斷能力，還能處理復雜的視覺和控制任務，尤其在視頻游戲仿真領域表現出色。
Sora模型的能力表明，繼續擴大視頻模型的規模是朝向開發能夠高度仿真物理和數字世界及其中的對象、動物和人的高能力模擬器的有希望的路徑。這種擴展不僅增強了模型處理復雜場景的能力，還提升了其對世界各種元素的理解和模擬能力，從而為創建更加智能和逼真的AI系統鋪平了道路。
OpenAI Sora的技術獨特之處
盡管此次OpenAI一如既往地沒有詳細披露Sora模型的技術細節。但是也有一定的篇幅介紹了相關的技術。這里我們針對其中核心的幾點來說明。
OpenAI Sora是一種結合了Diffusion模型和Transformer模型的技術。通過將視頻壓縮網絡將原始視頻壓縮到一個低維的潛在空間，并將這些表示分解為時空補丁，類似于Transformer的tokens，這樣的表示使得模型能夠有效地訓練在不同分辨率、持續時間和寬高比的視頻和圖像上。
OpenAI Sora與Diffusion模型和Transformers模型的比較
共同點：Sora模型利用了Diffusion模型的生成能力和Transformers模型的自注意力機制。它通過預測干凈補丁的方式生成視覺內容，同時利用Transformers模型處理時空補丁的能力。 差異：與Diffusion模型：Sora不僅僅是一個簡單的Diffusion模型，它通過引入Transformers模型的自注意力機制和視頻壓縮技術，增強了處理不同分辨率和格式視頻的能力。
與Transformers模型：Sora超越了傳統Transformers模型的應用范圍，通過將視覺數據轉換為補丁并利用Diffusion過程生成視覺內容，它結合了兩種模型的優勢，實現了視頻和圖像的高效生成。
同時，OpenAI也強調了，這個模型在大量的數據上訓練后就能提高視頻生成的效果。下圖展示了訓練過程中模型水平的提升：
換個角度說，OpenAI Sora也是某種程度上大力出奇跡的一個成果。
OpenAI Sora模型的缺點
除了上面描述的優點外，OpenAI Sora視頻生成也有一些缺點。在模擬復雜場景的物理現象、理解特定因果關系、處理空間細節、以及準確描述隨時間變化的事件方面OpenAI Sora都存在 問題。主要總結如下：
物理交互的不準確模擬：Sora模型在模擬基本物理交互，如玻璃破碎等方面，不夠精確。這可能是因為模型在訓練數據中缺乏足夠的這類物理事件的示例，或者模型無法充分學習和理解這些復雜物理過程的底層原理。
對象狀態變化的不正確：在模擬如吃食物這類涉及對象狀態顯著變化的交互時，Sora可能無法始終正確反映出變化。這表明模型可能在理解和預測對象狀態變化的動態過程方面存在局限。
常見的模型失敗模式
長時視頻樣本的不連貫性：在生成長時間的視頻樣本時，Sora可能會產生不連貫的情節或細節，這可能是由于模型難以在長時間跨度內保持上下文的一致性。 對象的突然出現：視頻中可能會出現對象的無緣無故出現，這表明模型在空間和時間連續性的理解上還有待提高。這些失敗的案例包括人在跑步機上朝著反方向跑步、長視頻中突然出現之前不曾出現的物體、籃球在籃筐跳動的時候出現火苗等。這些都意味著在真實世界交互的模擬都有重大問題。
