當(dāng)專業(yè)動(dòng)畫師用GAN幫自己“偷懶”，幾分鐘就完成了幾周的工作

蕭簫 2020-10-16 12:45:34 來源：量子位

蕭簫 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

當(dāng)視覺特效師與GAN強(qiáng)強(qiáng)聯(lián)手，做出來的動(dòng)畫會(huì)不會(huì)更好看？

答案是YES。

這是一位視覺特效師，用海外版抖音上超火的小姐姐Bella Poarch的視頻，生成的奧巴馬TikTok版動(dòng)畫：

不僅動(dòng)畫效果逼真，表情生動(dòng)，GAN生成的人物也不會(huì)出現(xiàn)意外“脫模”的情況。

當(dāng)時(shí)，這位專業(yè)動(dòng)畫師一接觸到AI，就看中了AI搞藝術(shù)的“本事”——用GAN將一個(gè)視頻中的人物動(dòng)畫化，只需要幾分鐘。

相比之下，如果用正常的軟件進(jìn)行動(dòng)畫制作，可能需要耗費(fèi)一個(gè)動(dòng)畫師幾周的時(shí)間。

不過，他很快發(fā)現(xiàn)，現(xiàn)有的這些AI人臉動(dòng)畫化的模型，做出來的卡通形象實(shí)在太丑。

如下圖，此前用AI將安倍晉三動(dòng)畫化后，卡通人物的臉色看起來不太好……

△動(dòng)畫化后有點(diǎn)印堂發(fā)黑的詭異感

于是，他干脆自己上手，結(jié)合現(xiàn)有的GAN模型進(jìn)行優(yōu)化調(diào)整。

效果好極了！

不僅像是給正常的人臉加了美顏特效，卡通形象簡直堪比迪士尼動(dòng)畫中的主角：

連奧巴馬都“返老還童”，比開了美顏看起來還年輕。

而且，任何人都能控制這些卡通人物的表情，即使是提前錄制好的視頻也可以。

那么，這樣的動(dòng)畫效果，到底是怎么做出來的？

遷移學(xué)習(xí)的妙用

這位視覺特效師，選擇了用一種特殊的方式制作好看的卡通人物形象。

他利用遷移學(xué)習(xí)生成了一個(gè)7×6的表格，根據(jù)遷移學(xué)習(xí)的強(qiáng)度來生成不同風(fēng)格的人臉。

也就是說，如果遷移學(xué)習(xí)強(qiáng)度越大，人物就會(huì)越接近卡通化，而遷移學(xué)習(xí)強(qiáng)度越小，人物就越接近真實(shí)形象。

可以看見，圖像越靠近左下角，人像就越真實(shí)；而越靠近右上角，人物就更接近卡通化。

這樣，既能最大程度上保留人物的特點(diǎn)，又能使卡通臉看起來更逼真。

而且AI還能根據(jù)“客戶需求”，判斷出更適合的人像，并進(jìn)行數(shù)據(jù)訓(xùn)練。

連尤金老爺子看起來都年輕了不少，甚至有點(diǎn)《飛屋環(huán)游記》里老爺爺?shù)拇认橐馕读恕?/p>

在這其中，視覺特效師利用了GAN來生成卡通人物的形象。

既能“性別轉(zhuǎn)換”，也能變化年齡

這位視覺特效師采用的基礎(chǔ)模型是Justin Pinkney和Doron Adler的作品StyleGAN2 FFHQ?（Nvidia的模型），主要根據(jù)DeepAI做成。

StyleGAN的原理在于，它摒棄了輸入層，添加了一個(gè)非線性映射網(wǎng)絡(luò)。

此外，它創(chuàng)新了一種名為style-based generator的生成器，能夠控制所生成圖像的高層級(jí)屬性(high-level attributes)，如 發(fā)型、雀斑等。

而且，這個(gè)StyleGAN自帶一個(gè)開源數(shù)據(jù)集FFHQ，里面包含著各種各樣的人臉數(shù)據(jù)集。

而這位視覺特效師，則是將這個(gè)StyleGAN2 FFHQ進(jìn)行了微調(diào)。

利用GAN生成的人物形象，不僅可以卡通化，還可以讓圖像模式化（Stylized），生成風(fēng)格相似的人物表情和特征。

不僅可愛的小朋友能被卡通化，而且還能根據(jù)眉毛和臉部特征構(gòu)建一個(gè)女孩子的面部：

如果人物“長大”了，那么模式化出來的女孩子的面部，也會(huì)變得更成熟：

這份軟件目前還沒開源，因?yàn)榭雌饋恚@位視覺特效師對(duì)自己做出來的動(dòng)畫還不是太滿意，認(rèn)為仍然有更多可以改進(jìn)的空間。

不過，網(wǎng)友似乎已經(jīng)有點(diǎn)急不可耐。

有熱愛二次元的網(wǎng)友表示，希望這樣的工具能將所有的漫畫改成動(dòng)漫。

也有網(wǎng)友表示，這樣的工具看起來已經(jīng)很棒了，不知道作者是否有意愿在對(duì)作品滿意后，進(jìn)行開源。

期待這位視覺特效師能夠達(dá)成目標(biāo)，將這份模型代碼開源。

作者介紹

Nathan Shipley，視覺特效師，動(dòng)態(tài)圖形藝術(shù)家，創(chuàng)意技術(shù)人員，目前感興趣的研究方向是AI生成藝術(shù)。

此外，這位特效師還曾經(jīng)在2019年，為佛羅里達(dá)州圣彼得堡的達(dá)利博物館“復(fù)活”了超現(xiàn)實(shí)主義畫家Salvador Dali本人。

那些對(duì)畫家Dali的著作有興趣的觀展者，只要按下按鈕，就能看見屏幕中的Dali正對(duì)你“打招呼”，神態(tài)非常惟妙惟肖。

如果對(duì)他的藝術(shù)作品感興趣的話，可以戳下方地址主頁查看。

Nathan Shipley主頁地址：
http://www.nathanshipley.com/gan

參考鏈接：
https://www.reddit.com/r/MachineLearning/comments/j0btow/p_toonifying_a_photo_using_stylegan_model/
https://www.dezeen.com/2019/05/24/salvador-dali-deepfake-dali-musuem-florida/