用GAN也可以P圖，效果還不輸PS | 英偉達出品
給自己多P點頭發(fā)
把人的眼睛變大、把閉著的嘴合上、轉(zhuǎn)動眼珠：
質(zhì)量如此逼真、一點糊圖的痕跡都沒出現(xiàn)——
如果我不說，你知道這其實是GAN自己P的嗎？
除了人臉，汽車啊鳥啊貓啊也都可以，比如改改車輪大小、換個車軸樣式：
把小鳥的喙部變長、頭抬高、胸脯變壯：
用動圖展示就更炫酷了：
大點大點，圓點圓點，頭發(fā)再多一點……
怎么樣，這GAN的效果是不是也不輸PS？
一個高質(zhì)量P圖GAN
以上這些都來自一個叫做EditGAN的模型，可以對圖像實現(xiàn)很多細節(jié)上的編輯，同時還能保持原圖質(zhì)量。
研究出自英偉達、多倫多大學(xué)以及MIT，相關(guān)論文已被NeurIPS 2021接收。
在此之前，大多數(shù)基于GAN的圖像編輯方法往往都需要大規(guī)模數(shù)據(jù)集上的語義分割注釋才能訓(xùn)練，并且也只能做一些有限的修改，有的甚至只是在兩張圖之間簡單地進行插值。
EditGAN作為一種全新方法，只需少量語義標記就能訓(xùn)練。
它會把原圖像分割成高度精細的語義塊（segmentation mask），有多精細呢？
就比如下面這張人臉圖，被足足按30種語義進行了分割：
而在一個交互工具中（還未開放地址），只需操作這些語義塊就可以對相應(yīng)部分進行修改。
EditGAN的關(guān)鍵思想在于利用圖像和語義分割的聯(lián)合分布p(x, y) 。
具體來說就是給定要編輯的新圖像x，將其嵌入到EditGAN的潛空間，由于語義分割圖和RGB圖像共享相同的潛碼，所以可以得到相應(yīng)的分割圖y。
接著，使用簡單的交互式數(shù)字繪畫或標簽工具，可以根據(jù)所需的編輯手動修改分割圖y。
然后進行共享潛碼的優(yōu)化，以保持新分割圖與真實圖像的RGB外觀一致，如圖所示：
相應(yīng)的梯度則通過共享生成器反向傳播而成。
結(jié)果就是潛空間中的編輯向量δw + edit。
此外，EditGAN通過學(xué)習(xí)提煉各種各樣的編輯向量，可以直接應(yīng)用于新的圖像。
還可以泛化到繪畫作品上
真實質(zhì)量如何？
研究人員在在四個不同類別的圖像上對EditGAN進行評估：汽車（空間分辨率384×512）、鳥類（512×512）、貓（256×256）和人臉（1024×1024）。
- 定性實驗結(jié)果
將EditGAN此前學(xué)習(xí)的編輯向量應(yīng)用于新圖像，經(jīng)過30個優(yōu)化步驟的細化，EditGAN的編輯操作保持了原圖像的質(zhì)量。
用它進行高精度細節(jié)編輯的效果也很好，比如下面左圖對輪軸的旋轉(zhuǎn)，右圖對瞳孔大小的修改：
在下面這種高清的圖像上效果就更好了：
作者表示，目前其他方法都還不能達到這樣的效果。
此外，EditGAN也有很強的泛化能力，比如在下面這種繪畫等風(fēng)格的人像上，做點小表情毫無違和感。
- 定量實驗結(jié)果
和基于MaskGAN的smile編輯基準的模型相比，EditGAN則實現(xiàn)了最佳屬性精度和ID分數(shù)。
最后，和所有基于GAN的圖像編輯方法一樣，EditGAN僅限于應(yīng)用到由GAN建模的圖像上。
作者介紹
一作凌歡，多倫多大學(xué)博士生，同時在該校人工智能研究院（Vector Institute）和英偉達做研究。
共同一作Karsten Kreis，英偉達高級研究科學(xué)家，2018年以博士學(xué)位畢業(yè)德國馬普高分子所。
其余作者包括：英偉達多倫多AI Lab的Li Daiqing，多倫多大學(xué)的Seung Wook Kim，以及MIT教授Antonio Torralba。
通訊作者為一作導(dǎo)師，多倫多大學(xué)副教授，英偉達AI總監(jiān)Sanja Fidler。
論文地址：
https://arxiv.org/abs/2111.03186
項目主頁：
https://nv-tlabs.github.io/editGAN/
- 北大開源最強aiXcoder-7B代碼大模型！聚焦真實開發(fā)場景，專為企業(yè)私有部署設(shè)計2024-04-09
- 剛剛，圖靈獎揭曉！史上首位數(shù)學(xué)和計算機最高獎“雙料王”出現(xiàn)了2024-04-10
- 8.3K Stars!《多模態(tài)大語言模型綜述》重大升級2024-04-10
- 谷歌最強大模型免費開放了！長音頻理解功能獨一份，100萬上下文敞開用2024-04-10
