機器之心報道

機器之心編輯部

甲方：「我想讓這只小狗坐下。」AI：安排！

動動嘴皮子就能把圖改好是甲方和乙方的共同愿望，但通常只有乙方才知道其中的酸楚。如今，AI 卻向這個高難度問題發(fā)起了挑戰(zhàn)。

在一篇 10 月 17 日上傳到 arXiv 的論文中，來自谷歌研究院、以色列理工學(xué)院、以色列魏茨曼科學(xué)研究所的研究者介紹了一種基于擴散模型的真實圖像編輯方法—— Imagic，只用文字就能實現(xiàn)真實照片的 PS，比如讓一個人豎起大拇指、讓兩只鸚鵡親吻：

「求大神幫忙 P 一個點贊手勢。」擴散模型：沒問題，包在我身上。

從論文中的圖像可以看出，修改后的圖像依然非常自然，對需要修改的內(nèi)容之外的信息也沒有明顯的破壞。類似的研究還有谷歌研究院和以色列特拉維夫大學(xué)之前合作完成的 Prompt-to-Prompt（Imagic 論文中的參考文獻(xiàn) [ 16 ] ）：

項目鏈接（含論文、代碼）：https://prompt-to-prompt.github.io/

因此，有人感慨說，「這個領(lǐng)域變化快到有點夸張了，」以后甲方真的動動嘴就可以想怎么改就怎么改了。

Imagic 論文概覽

論文鏈接：https://arxiv.org/pdf/2210.09276.pdf

將大幅度的語義編輯應(yīng)用于真實照片一直是圖像處理中一個有趣的任務(wù)。近年來，由于基于深度學(xué)習(xí)的系統(tǒng)取得了長足的進(jìn)步，該任務(wù)已經(jīng)引起了研究社區(qū)相當(dāng)大的興趣。

用簡單的自然語言文本 prompt 來描述我們想要的編輯（比如讓一只狗坐下）與人類之間的交流方式高度一致。因此，研究者們開發(fā)了很多基于文本的圖像編輯方法，而且這些方法效果也都不錯。

然而，目前的主流方法都或多或少地存在一些問題，比如：

1、僅限于一組特定的編輯，如在圖像上作畫、添加對象或遷移風(fēng)格 [ 6, 28 ] ；

2、只能對特定領(lǐng)域的圖像或合成的圖像進(jìn)行操作 [ 16, 36 ] ；

3、除了輸入圖像外，它們還需要輔助輸入，例如指示所需編輯位置的圖像 mask、同一主題的多個圖像或描述原始圖像的文本 [ 6, 13, 40, 44 ] 。

本文提出了一種語義圖像編輯方法「Imagic」以緩解上述問題。只需給定一個待編輯的輸入圖像和一個描述目標(biāo)編輯的單一文本 prompt，該方法就可以對真實的高分辨率圖像進(jìn)行復(fù)雜的非剛性編輯。所產(chǎn)生的圖像輸出能夠與目標(biāo)文本很好地對齊，同時保留了原始圖像的整體背景、結(jié)構(gòu)和組成。

如圖 1 所示，Imagic 可以讓兩只鸚鵡接吻或讓一個人豎起大拇指。它提供的基于文本的語義編輯首次將如此復(fù)雜的操作應(yīng)用于單個真實的高分辨率圖像，包括編輯多個對象。除了這些復(fù)雜的變化之外，Imagic 還可以進(jìn)行各種各樣的編輯，包括風(fēng)格變化、顏色變化和對象添加。

為了實現(xiàn)這一壯舉，研究者利用了最近成功的文本到圖像的擴散模型。擴散模型是強大的生成模型，能夠進(jìn)行高質(zhì)量的圖像合成。當(dāng)以自然語言文本 prompt 為條件時，它能夠生成與要求的文本相一致的圖像。在這項工作中，研究者將它們用于編輯真實的圖像而不是合成新的圖像。

如圖 3 所示，Imagic 完成上述任務(wù)只需要三步走：首先優(yōu)化一個文本嵌入，使其產(chǎn)生與輸入圖像相似的圖像。然后，對預(yù)訓(xùn)練的生成擴散模型進(jìn)行微調(diào)，以優(yōu)化嵌入為條件，更好地重建輸入圖像。最后，在目標(biāo)文本嵌入和優(yōu)化后的嵌入之間進(jìn)行線性插值，從而得到一個結(jié)合了輸入圖像和目標(biāo)文本的表征。然后，這個表征被傳遞給帶有微調(diào)模型的生成擴散過程，輸出最終編輯的圖像。

為了證明 Imagic 的實力，研究者進(jìn)行了幾個實驗，將該方法應(yīng)用于不同領(lǐng)域的眾多圖像，并在所有的實驗中都產(chǎn)生了令人印象深刻的結(jié)果。Imagic 輸出的高質(zhì)量圖像與輸入的圖像高度相似，并與所要求的目標(biāo)文本保持一致。這些結(jié)果展示了 Imagic 的通用性、多功能性和質(zhì)量。研究者還進(jìn)行了一項消融研究，強調(diào)了本文所提出的方法中每個組件的效果。與最近的一系列方法相比，Imagic 表現(xiàn)出明顯更好的編輯質(zhì)量和對原始圖像的忠實度，特別是在承擔(dān)高度復(fù)雜的非剛性編輯任務(wù)時。

方法細(xì)節(jié)

給定一個輸入圖像 x 和一個目標(biāo)文本，本文旨在以滿足給定文本的方式編輯圖像，同時還能保留圖像 x 的大量細(xì)節(jié)。為了實現(xiàn)這一目標(biāo)，本文利用擴散模型的文本嵌入層來執(zhí)行語義操作，這種方式有點類似于基于 GAN 的方法。研究人員從尋找有意義的表示開始，然后經(jīng)過生成過程，生成與輸入圖像相似的圖像。之后再對生成模型進(jìn)行優(yōu)化，以更好地重建輸入圖像，最后一步是對潛在表示進(jìn)行處理，得到編輯結(jié)果。

如上圖 3 所示，本文的方法由三個階段構(gòu)成：（1）優(yōu)化文本嵌入以在目標(biāo)文本嵌入附近找到與給定圖像最匹配的文本嵌入；（2）微調(diào)擴散模型以更好地匹配給定圖像；（3）在優(yōu)化后的嵌入和目標(biāo)文本嵌入之間進(jìn)行線性插值，以找到一個既能達(dá)到圖像保真度又能達(dá)到目標(biāo)文本對齊的點。

更具體的細(xì)節(jié)如下：

文本嵌入優(yōu)化

首先目標(biāo)文本被輸入到文本編碼器，該編碼器輸出相應(yīng)的文本嵌入，其中 T 是給定目標(biāo)文本的 token 數(shù)，d 是 token 嵌入維數(shù)。然后，研究者對生成擴散模型 f_θ 的參數(shù)進(jìn)行凍結(jié)，并利用去噪擴散目標(biāo)（denoising diffusion objective）優(yōu)化目標(biāo)文本嵌入 e_tgt

其中，x 是輸入圖像，是 x 的一個噪聲版本，θ 為預(yù)訓(xùn)練擴散模型權(quán)值。這樣使得文本嵌入盡可能地匹配輸入圖像。此過程運行步驟相對較少，從而保持接近最初的目標(biāo)文本嵌入，獲得優(yōu)化嵌入 e_opt。

模型微調(diào)

這里要注意的是，此處所獲得的優(yōu)化嵌入 e_opt 在通過生成擴散過程時，不一定會完全和輸入圖像 x 相似，因為它們只運行了少量的優(yōu)化步驟（參見圖 5 中的左上圖）。因此，在第二個階段，作者通過使用公式 （2） 中提供的相同損失函數(shù)優(yōu)化模型參數(shù) θ 來縮小這一差距，同時凍結(jié)優(yōu)化嵌入。

文本嵌入插值

Imagic 的第三個階段是在 e_tgt 和 e_opt 之間進(jìn)行簡單的線性插值。對于給定的超參數(shù)，得到然后，作者使用微調(diào)模型，以 為條件，應(yīng)用基礎(chǔ)生成擴散過程。這會產(chǎn)生一個低分辨率的編輯圖像，然后使用微調(diào)輔助模型對目標(biāo)文本進(jìn)行超分辨率處理。這個生成過程輸出最終的高分辨率編輯圖像。

實驗結(jié)果

為了測試效果，研究者將該方法應(yīng)用于來自不同領(lǐng)域的大量真實圖片，用簡單的文字 prompt 來描述不同的編輯類別，如：風(fēng)格、外觀、顏色、姿勢和構(gòu)圖。他們從 Unsplash 和 Pixabay 收集了高分辨率的免費使用的圖片，經(jīng)過優(yōu)化，用 5 個隨機種子生成每個編輯，并選擇最佳結(jié)果。Imagic 展示了令人印象深刻的結(jié)果，它能夠在任何一般的輸入圖像和文本上應(yīng)用各種編輯類別，如圖 1 和圖 7 中所示。

圖 2 中是對同一張圖片進(jìn)行了不同的文字 prompt 實驗，顯示了 Imagic 的多功能性。

由于研究者利用的底層生成擴散模型是基于概率的，該方法可以對單一的圖像 - 文本對生成不同的結(jié)果。圖 4 展示了使用不同的隨機種子進(jìn)行編輯的多個選項（對每個種子的 η 稍作調(diào)整）。這種隨機性允許用戶在這些不同的選項中進(jìn)行選擇，因為自然語言的文本 prompt 一般都是模糊和不精確的。

研究將 Imagic 與目前領(lǐng)先的通用方法進(jìn)行了比較，這些方法對單一輸入的真實世界圖像進(jìn)行操作，并根據(jù)文本 prompt 對其進(jìn)行編輯。圖 6 展示了 Text2LIVE [ 7 ] 和 SDEdit [ 32 ] 等不同方法的編輯結(jié)果。

可以看出，本文的方法對輸入圖像保持了高保真度，同時恰當(dāng)?shù)剡M(jìn)行了所需的編輯。當(dāng)被賦予復(fù)雜的非剛性編輯任務(wù)時，比如「讓狗坐下」，本文方法明顯優(yōu)于以前的技術(shù)。Imagic 是第一個在單一真實世界圖像上應(yīng)用這種復(fù)雜的基于文本的編輯的 demo。