3D 編輯在游戲和虛擬現實等領域中發揮著至關重要的作用，然而之前的 3D 編輯苦于耗時間長以及可控性差等問題，很難應用到實際場景。近日，南洋理工大學聯合清華和商湯提出了一種全新的 3D 編輯算法 GaussianEditor，首次實現了在 2-7 分鐘完成對 3D 場景可控的多樣化的編輯，全面超越了之前的 3D 編輯工作。
近三年來，3D 編輯領域的工作普遍聚焦于 NeRF（神經輻射場），這是因為 NeRF 不僅能高保真地完成 3D 場景建模，而且其隱式特性極大地提高了可擴展性，相較點云、網格等傳統方法有著顯著的優勢。然而 NeRF 依賴高維多層感知網絡（MLP）對場景數據進行編碼，這也帶來了一定限制。它難以直接修改場景的特定部分，同時在圖像修復和場景組合等任務上增加了復雜性。這種復雜性不僅影響了訓練過程，也制約了其在實際應用中的應用。
GaussianEditor 為了解決上述問題，另辟蹊徑，選擇了高斯濺射（Gaussian Splatting）作為其 3D 表示。Gaussian Splatting 是半年前提出的一種新型 3D 表示，該表示已經在 3D，4D 重建等多項 3D 任務上超越了 NeRF，剛面世就引發了 3D 領域廣泛的關注，是今年 3D 領域最大的突破之一。Gaussian Splatting 表示具有極好的前景和潛力， GaussianEditor 更是首個實現了對這種 3D 表示完成編輯的工作。該項目已開源，并提供了 WebUI 界面，便于學習和使用。
Gaussian Splatting 雖然有著高效的渲染算法，但其作為顯示表示，對其的編輯存在著不小的挑戰。一個主要問題是缺乏有效的方法準確識別編輯目標，這對于精確可控的編輯至關重要。此外，已有研究表明，使用高度隨機的生成指導（如 Stable Diffusion 等生成擴散模型）優化 Gaussian Splatting（GS）會遇到重大挑戰。這可能是因為 GS 直接受到損失中隨機性的影響，與神經網絡緩沖的隱式表示不同。這種直接暴露導致更新不穩定，訓練過程中高斯點的屬性直接改變。此外，GS 的每個訓練步驟可能涉及大量高斯點的更新，而這一過程沒有神經網絡風格的緩沖機制。這些問題會導致 GS 的過度流動性阻礙了其在訓練中向隱式表示那樣的精細結果收斂。
為了解決上述問題，團隊首先引入了高斯語義追蹤來完成對 Gaussian Splatting（GS）的精確控制。高斯語義追蹤在訓練過程中始終能夠識別出需要編輯的高斯點。這與傳統的 3D 編輯方法不同，后者通常依賴于靜態的 2D 或 3D 掩碼。隨著 3D 模型的幾何形狀和外觀在訓練中的變化，這些掩碼的會逐漸失效。高斯語義追蹤則是通過將 2D 分割掩碼投影到 3D 高斯點上并為每個高斯點分配語義標簽來實現訓練全程的追蹤。隨著訓練過程中高斯點的變化，這些語義標簽使得能夠追蹤到特定的目標高斯點。高斯語義追蹤算法能確保只有目標區域被修改，從而實現精確和可控的編輯。
下圖中紅色區域為被追蹤的目標區域，語義追蹤的區域會隨著訓練過程動態更新來確保其有效性。
此外，為了應對 Gaussian Splatting（GS）在高度隨機的生成指導下難以實現精細結果的重大挑戰，GaussinEditor 采用一種新的 GS 表示方式：層次化高斯濺射（Hierarchical Gaussian Splatting，HGS）。在 HGS 中，高斯點根據它們在訓練過程中的稠密化的順序被組織成不同的世代。在較早的稠密化過程中形成的高斯點被視為較老的世代，它們受到更嚴格的約束，目的是保持它們的原始狀態，從而減少它們的流動性。相反，后期階段形成的高斯點被視為較年輕的世代，受到較少或沒有約束，以提高其適應性。HGS 的設計有效地調節了 GS 的流動性，通過對較老的世代施加限制的同時保持了較新世代的靈活性。這種方法使得持續優化朝向更好的結果成為可能，從而模擬了隱式表示中通過神經網絡實現的緩沖功能。
GaussianEditor 在此基礎上提出了高斯濺射表示的增、刪算法。在刪除目標方面，該團隊開發了一種專門的局部修復算法，能有效地消除了對象與場景交界處的偽影。在添加目標方面，GaussianEditor 能根據用戶提供一個的文本提示和 2D 掩碼來為指定區域添加指定目標。GaussianEditor 先借助 2D 圖像 InpAInting 算法生成要添加的對象的單視圖圖像。然后，通過 Image to 3D 的算法將該圖像轉換成一個 3D GS。最后將該目標并入到高斯場景中。
在對比實驗上，GaussianEditor 在視覺質量，量化指標，可控性，生成速度上都大幅度超過了之前的工作。
該團隊還通過消融實驗驗證了其提出的高斯語義追蹤和層次化高斯表示的有效性。
GaussianEditor 作為一種先進的 3D 編輯算法，重點在于靈活和快速地編輯 3D 場景，并首次實現了對高斯濺射的編輯。
該算法的關鍵特點包括：
Gaussian 語義追蹤：它能在訓練過程中持續識別需要編輯的高斯點，確保只有目標區域被編輯。 層次化 Gaussian Splatting（HGS）：這是一種新的 GS 表示方式，通過在不同訓練階段形成的高斯點之間建立層次結構，以有效管理 GS 場景的流動性，并模擬隱式表示中神經網絡的緩沖功能。 3D 場景的增加和刪除算法：GaussianEditor 專為 GS 開發設計了 3D 場景的增刪算法，能夠高效地從場景中移除或添加特定對象。
