來源：機器之心
機器之心報道
機器之心編輯部
甲方：「我想讓這只小狗坐下。」AI：安排！
動動嘴皮子就能把圖改好是甲方和乙方的共同愿望，但通常只有乙方才知道其中的酸楚。如今，AI 卻向這個高難度問題發(fā)起了挑戰(zhàn)。
在一篇 10 月 17 日上傳到 arXiv 的論文中，來自谷歌研究院、以色列理工學院、以色列魏茨曼科學研究所的研究者介紹了一種基于擴散模型的真實圖像編輯方法—— Imagic，只用文字就能實現(xiàn)真實照片的 PS，比如讓一個人豎起大拇指、讓兩只鸚鵡親吻：
「求大神幫忙 P 一個點贊手勢。」擴散模型：沒問題，包在我身上。
從論文中的圖像可以看出，修改后的圖像依然非常自然，對需要修改的內(nèi)容之外的信息也沒有明顯的破壞。類似的研究還有谷歌研究院和以色列特拉維夫大學之前合作完成的 Prompt-to-Prompt（Imagic 論文中的參考文獻 [ 16 ] ）：
項目鏈接（含論文、代碼）：https://prompt-to-prompt.github.io/
因此，有人感慨說，「這個領(lǐng)域變化快到有點夸張了，」以后甲方真的動動嘴就可以想怎么改就怎么改了。
Imagic 論文概覽
論文鏈接：https://arxiv.org/pdf/2210.09276.pdf
將大幅度的語義編輯應(yīng)用于真實照片一直是圖像處理中一個有趣的任務(wù)。近年來，由于基于深度學習的系統(tǒng)取得了長足的進步，該任務(wù)已經(jīng)引起了研究社區(qū)相當大的興趣。
用簡單的自然語言文本 prompt 來描述我們想要的編輯（比如讓一只狗坐下）與人類之間的交流方式高度一致。因此，研究者們開發(fā)了很多基于文本的圖像編輯方法，而且這些方法效果也都不錯。
然而，目前的主流方法都或多或少地存在一些問題，比如：
1、僅限于一組特定的編輯，如在圖像上作畫、添加對象或遷移風格 [ 6, 28 ] ；
2、只能對特定領(lǐng)域的圖像或合成的圖像進行操作 [ 16, 36 ] ；
3、除了輸入圖像外，它們還需要輔助輸入，例如指示所需編輯位置的圖像 mask、同一主題的多個圖像或描述原始圖像的文本 [ 6, 13, 40, 44 ] 。
本文提出了一種語義圖像編輯方法「Imagic」以緩解上述問題。只需給定一個待編輯的輸入圖像和一個描述目標編輯的單一文本 prompt，該方法就可以對真實的高分辨率圖像進行復雜的非剛性編輯。所產(chǎn)生的圖像輸出能夠與目標文本很好地對齊，同時保留了原始圖像的整體背景、結(jié)構(gòu)和組成。
如圖 1 所示，Imagic 可以讓兩只鸚鵡接吻或讓一個人豎起大拇指。它提供的基于文本的語義編輯首次將如此復雜的操作應(yīng)用于單個真實的高分辨率圖像，包括編輯多個對象。除了這些復雜的變化之外，Imagic 還可以進行各種各樣的編輯，包括風格變化、顏色變化和對象添加。
為了實現(xiàn)這一壯舉，研究者利用了最近成功的文本到圖像的擴散模型。擴散模型是強大的生成模型，能夠進行高質(zhì)量的圖像合成。當以自然語言文本 prompt 為條件時，它能夠生成與要求的文本相一致的圖像。在這項工作中，研究者將它們用于編輯真實的圖像而不是合成新的圖像。
如圖 3 所示，Imagic 完成上述任務(wù)只需要三步走：首先優(yōu)化一個文本嵌入，使其產(chǎn)生與輸入圖像相似的圖像。然后，對預訓練的生成擴散模型進行微調(diào)，以優(yōu)化嵌入為條件，更好地重建輸入圖像。最后，在目標文本嵌入和優(yōu)化后的嵌入之間進行線性插值，從而得到一個結(jié)合了輸入圖像和目標文本的表征。然后，這個表征被傳遞給帶有微調(diào)模型的生成擴散過程，輸出最終編輯的圖像。
為了證明 Imagic 的實力，研究者進行了幾個實驗，將該方法應(yīng)用于不同領(lǐng)域的眾多圖像，并在所有的實驗中都產(chǎn)生了令人印象深刻的結(jié)果。Imagic 輸出的高質(zhì)量圖像與輸入的圖像高度相似，并與所要求的目標文本保持一致。這些結(jié)果展示了 Imagic 的通用性、多功能性和質(zhì)量。研究者還進行了一項消融研究，強調(diào)了本文所提出的方法中每個組件的效果。與最近的一系列方法相比，Imagic 表現(xiàn)出明顯更好的編輯質(zhì)量和對原始圖像的忠實度，特別是在承擔高度復雜的非剛性編輯任務(wù)時。
方法細節(jié)
給定一個輸入圖像 x 和一個目標文本，本文旨在以滿足給定文本的方式編輯圖像，同時還能保留圖像 x 的大量細節(jié)。為了實現(xiàn)這一目標，本文利用擴散模型的文本嵌入層來執(zhí)行語義操作，這種方式有點類似于基于 GAN 的方法。研究人員從尋找有意義的表示開始，然后經(jīng)過生成過程，生成與輸入圖像相似的圖像。之后再對生成模型進行優(yōu)化，以更好地重建輸入圖像，最后一步是對潛在表示進行處理，得到編輯結(jié)果。
如上圖 3 所示，本文的方法由三個階段構(gòu)成：（1）優(yōu)化文本嵌入以在目標文本嵌入附近找到與給定圖像最匹配的文本嵌入；（2）微調(diào)擴散模型以更好地匹配給定圖像；（3）在優(yōu)化后的嵌入和目標文本嵌入之間進行線性插值，以找到一個既能達到圖像保真度又能達到目標文本對齊的點。
更具體的細節(jié)如下：
文本嵌入優(yōu)化
首先目標文本被輸入到文本編碼器，該編碼器輸出相應(yīng)的文本嵌入，其中 T 是給定目標文本的 token 數(shù)，d 是 token 嵌入維數(shù)。然后，研究者對生成擴散模型 f_θ 的參數(shù)進行凍結(jié)，并利用去噪擴散目標（denoising diffusion objective）優(yōu)化目標文本嵌入 e_tgt
其中，x 是輸入圖像，是 x 的一個噪聲版本，θ 為預訓練擴散模型權(quán)值。這樣使得文本嵌入盡可能地匹配輸入圖像。此過程運行步驟相對較少，從而保持接近最初的目標文本嵌入，獲得優(yōu)化嵌入 e_opt。
模型微調(diào)
這里要注意的是，此處所獲得的優(yōu)化嵌入 e_opt 在通過生成擴散過程時，不一定會完全和輸入圖像 x 相似，因為它們只運行了少量的優(yōu)化步驟（參見圖 5 中的左上圖）。因此，在第二個階段，作者通過使用公式 （2） 中提供的相同損失函數(shù)優(yōu)化模型參數(shù) θ 來縮小這一差距，同時凍結(jié)優(yōu)化嵌入。
文本嵌入插值
Imagic 的第三個階段是在 e_tgt 和 e_opt 之間進行簡單的線性插值。對于給定的超參數(shù)，得到然后，作者使用微調(diào)模型，以 為條件，應(yīng)用基礎(chǔ)生成擴散過程。這會產(chǎn)生一個低分辨率的編輯圖像，然后使用微調(diào)輔助模型對目標文本進行超分辨率處理。這個生成過程輸出最終的高分辨率編輯圖像。
實驗結(jié)果
為了測試效果，研究者將該方法應(yīng)用于來自不同領(lǐng)域的大量真實圖片，用簡單的文字 prompt 來描述不同的編輯類別，如：風格、外觀、顏色、姿勢和構(gòu)圖。他們從 Unsplash 和 Pixabay 收集了高分辨率的免費使用的圖片，經(jīng)過優(yōu)化，用 5 個隨機種子生成每個編輯，并選擇最佳結(jié)果。Imagic 展示了令人印象深刻的結(jié)果，它能夠在任何一般的輸入圖像和文本上應(yīng)用各種編輯類別，如圖 1 和圖 7 中所示。
圖 2 中是對同一張圖片進行了不同的文字 prompt 實驗，顯示了 Imagic 的多功能性。
由于研究者利用的底層生成擴散模型是基于概率的，該方法可以對單一的圖像 - 文本對生成不同的結(jié)果。圖 4 展示了使用不同的隨機種子進行編輯的多個選項（對每個種子的 η 稍作調(diào)整）。這種隨機性允許用戶在這些不同的選項中進行選擇，因為自然語言的文本 prompt 一般都是模糊和不精確的。
研究將 Imagic 與目前領(lǐng)先的通用方法進行了比較，這些方法對單一輸入的真實世界圖像進行操作，并根據(jù)文本 prompt 對其進行編輯。圖 6 展示了 Text2LIVE [ 7 ] 和 SDEdit [ 32 ] 等不同方法的編輯結(jié)果。
可以看出，本文的方法對輸入圖像保持了高保真度，同時恰當?shù)剡M行了所需的編輯。當被賦予復雜的非剛性編輯任務(wù)時，比如「讓狗坐下」，本文方法明顯優(yōu)于以前的技術(shù)。Imagic 是第一個在單一真實世界圖像上應(yīng)用這種復雜的基于文本的編輯的 demo。
