谷歌上線AI新玩法：隨手亂涂鴉，一鍵變怪獸
這是Google研究人員制作的AI工具奇美拉畫家（Chimera Painter）。
蕾師師 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
小明隨意地涂鴉了一個(gè)頭部，再簡(jiǎn)單地畫了個(gè)翅膀，加上一個(gè)大尾巴……再單擊「轉(zhuǎn)換」鍵。
一只面目猙獰、皮膚粗糙、紋理細(xì)致的大怪獸就創(chuàng)造出來(lái)了。
這是Google研究人員制作的AI工具奇美拉畫家（Chimera Painter）。
這是個(gè)線上繪畫工具，可以將涂鴉變成一個(gè)栩栩如生的怪物。
奇美拉的條件型GAN
研究人員建立了一個(gè)生物混合體的概念，就像是一個(gè)紙牌游戲。
比如你拿到一張「鯨」卡，通過組合，可以變成一個(gè)「鯨VS大象」的嵌合體怪獸。
這個(gè)組合而成藝術(shù)作品，還能保留原始圖像的視覺特征。
在此之前生成式對(duì)抗網(wǎng)絡(luò) （GAN, Generative Adversarial Networks ）被廣泛用于圖像創(chuàng)作上。GAN一般包含兩個(gè)模塊：
- 生成模型（Generative Model）
- 判別模型（Discriminative Model）
兩個(gè)模塊互相博弈學(xué)習(xí)產(chǎn)生相當(dāng)好的輸出。一個(gè)優(yōu)秀的GAN應(yīng)用需要有良好的訓(xùn)練方法，否則可能由于神經(jīng)網(wǎng)絡(luò)模型的自由性而導(dǎo)致輸出不理想。
例如，麻省理工學(xué)院和IBM合作，開發(fā)出了“GAN繪畫工作室”。
允許用戶上傳自選圖像以從多種角度修改其外觀，從更改對(duì)象的大小到添加全新的物體，例如如樹木、窗戶、建筑物、桌子……等等。
再有，英偉達(dá)（Nvidia）最新的AI軟件將粗糙的涂鴉變成真實(shí)的風(fēng)景。
而在奇美拉畫家中，與前兩者注重照片寫實(shí)的GAN不一樣，他們采用了一種稱作條件型GAN的方法。
這種方法與一般的GAN不一樣，一般的GAN是在一系列圖片基礎(chǔ)上，生成器和判別器相互對(duì)抗磨合，形成全新的圖。
奇美拉畫家則是需要在生成器中輸入一張創(chuàng)作圖，在此基礎(chǔ)上，再通過GAN生成新圖。
將怪獸肢解建模，再組合渲染
為了訓(xùn)練GAN，研究人員創(chuàng)建了10000多個(gè)全彩色圖像的數(shù)據(jù)集，包含不同生物的3D模型。
在這個(gè)生物模型的數(shù)據(jù)庫(kù)中，不僅描繪了每個(gè)生物整體的大小和形狀，還提供了肢體、器官、軀干的分割圖。
藝術(shù)家就在這些“肢解”模型的基礎(chǔ)上，重新組合出新的“生物”。可以選擇頭、牙齒、軀干、翅膀等不同部分進(jìn)行繪畫。
可以看到左側(cè)有各種肢體部分選項(xiàng)按鈕。
然后經(jīng)過GAN，選出組合得最好的模型，將之合并，輸出到Chimera Painter中。
得先制作生物紋理
在GAN模型中，在渲染對(duì)比度低的圖像部分時(shí)，會(huì)有跳格，使圖像失去空間連貫性。
例如這張圖的腿和眼睛的識(shí)別界限不清晰，導(dǎo)致輸出來(lái)的圖像奇奇怪怪。
為了解決這個(gè)問題，奇美拉畫家的研究人員開發(fā)了一種新的半自動(dòng)化方法。
奇美拉畫家對(duì)每種所需的生物類型（例如鬣狗或獅子）都會(huì)建立一個(gè)模型。
然后，藝術(shù)家使用虛幻引擎制作了疊加在3D模型上的彩色紋理。
再將「分割圖」的單色（例如頭，耳，頸等部分）套用到模型上，確保GAN了解到藝術(shù)家指定的的結(jié)構(gòu)，形狀，紋理和比例。
再次使用虛幻引擎將3D生物模型放置在簡(jiǎn)單的3D場(chǎng)景中。
為了增加數(shù)據(jù)庫(kù)的模型數(shù)量，一個(gè)自動(dòng)化腳本會(huì)主動(dòng)采用這個(gè)3D場(chǎng)景。在10000張生物模型的基礎(chǔ)上，繼續(xù)補(bǔ)充，生成了10000+張圖像+分割圖。
根據(jù)生物的不同姿勢(shì)，在視點(diǎn)和縮放級(jí)別之間進(jìn)行插值，創(chuàng)建出全色圖像和分割圖，形成GAN新的訓(xùn)練數(shù)據(jù)集。
而每次手動(dòng)創(chuàng)建這些數(shù)據(jù)，需要20多分鐘。
谷歌表示，奇美拉畫家為藝術(shù)家節(jié)省了數(shù)百萬(wàn)小時(shí)的時(shí)間。
相關(guān)閱讀
不被大神Hinton認(rèn)同，否定現(xiàn)有同行成果，谷歌這篇燒腦研究最終拿下ICML2019最佳論文
2篇奪魁，7篇提名，谷歌MIT成最大贏家
