當專業動畫師用GAN幫自己“偷懶”，幾分鐘就完成了幾周的工作
性轉、年齡變化都ok
蕭簫 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
當視覺特效師與GAN強強聯手，做出來的動畫會不會更好看？
答案是YES。
這是一位視覺特效師，用海外版抖音上超火的小姐姐Bella Poarch的視頻，生成的奧巴馬TikTok版動畫：
不僅動畫效果逼真，表情生動，GAN生成的人物也不會出現意外“脫模”的情況。
當時，這位專業動畫師一接觸到AI，就看中了AI搞藝術的“本事”——用GAN將一個視頻中的人物動畫化，只需要幾分鐘。
相比之下，如果用正常的軟件進行動畫制作，可能需要耗費一個動畫師幾周的時間。
不過，他很快發現，現有的這些AI人臉動畫化的模型，做出來的卡通形象實在太丑。
如下圖，此前用AI將安倍晉三動畫化后，卡通人物的臉色看起來不太好……
△動畫化后有點印堂發黑的詭異感
于是，他干脆自己上手，結合現有的GAN模型進行優化調整。
效果好極了！
不僅像是給正常的人臉加了美顏特效，卡通形象簡直堪比迪士尼動畫中的主角：
連奧巴馬都“返老還童”，比開了美顏看起來還年輕。
而且，任何人都能控制這些卡通人物的表情，即使是提前錄制好的視頻也可以。
那么，這樣的動畫效果，到底是怎么做出來的？
遷移學習的妙用
這位視覺特效師，選擇了用一種特殊的方式制作好看的卡通人物形象。
他利用遷移學習生成了一個7×6的表格，根據遷移學習的強度來生成不同風格的人臉。
也就是說，如果遷移學習強度越大，人物就會越接近卡通化，而遷移學習強度越小，人物就越接近真實形象。
可以看見，圖像越靠近左下角，人像就越真實；而越靠近右上角，人物就更接近卡通化。
這樣，既能最大程度上保留人物的特點，又能使卡通臉看起來更逼真。
而且AI還能根據“客戶需求”，判斷出更適合的人像，并進行數據訓練。
連尤金老爺子看起來都年輕了不少，甚至有點《飛屋環游記》里老爺爺的慈祥意味了。
在這其中，視覺特效師利用了GAN來生成卡通人物的形象。
既能“性別轉換”，也能變化年齡
這位視覺特效師采用的基礎模型是Justin Pinkney和Doron Adler的作品StyleGAN2 FFHQ?（Nvidia的模型），主要根據DeepAI做成。
StyleGAN的原理在于，它摒棄了輸入層，添加了一個非線性映射網絡。
此外，它創新了一種名為style-based generator的生成器，能夠控制所生成圖像的高層級屬性(high-level attributes)，如 發型、雀斑等。
而且，這個StyleGAN自帶一個開源數據集FFHQ，里面包含著各種各樣的人臉數據集。
而這位視覺特效師，則是將這個StyleGAN2 FFHQ進行了微調。
利用GAN生成的人物形象，不僅可以卡通化，還可以讓圖像模式化（Stylized），生成風格相似的人物表情和特征。
不僅可愛的小朋友能被卡通化，而且還能根據眉毛和臉部特征構建一個女孩子的面部：
如果人物“長大”了，那么模式化出來的女孩子的面部，也會變得更成熟：
這份軟件目前還沒開源，因為看起來，這位視覺特效師對自己做出來的動畫還不是太滿意，認為仍然有更多可以改進的空間。
不過，網友似乎已經有點急不可耐。
有熱愛二次元的網友表示，希望這樣的工具能將所有的漫畫改成動漫。
也有網友表示，這樣的工具看起來已經很棒了，不知道作者是否有意愿在對作品滿意后，進行開源。
期待這位視覺特效師能夠達成目標，將這份模型代碼開源。
作者介紹
Nathan Shipley，視覺特效師，動態圖形藝術家，創意技術人員，目前感興趣的研究方向是AI生成藝術。
此外，這位特效師還曾經在2019年，為佛羅里達州圣彼得堡的達利博物館“復活”了超現實主義畫家Salvador Dali本人。
那些對畫家Dali的著作有興趣的觀展者，只要按下按鈕，就能看見屏幕中的Dali正對你“打招呼”，神態非常惟妙惟肖。
如果對他的藝術作品感興趣的話，可以戳下方地址主頁查看。
Nathan Shipley主頁地址：
http://www.nathanshipley.com/gan
參考鏈接：
https://www.reddit.com/r/MachineLearning/comments/j0btow/p_toonifying_a_photo_using_stylegan_model/
https://www.dezeen.com/2019/05/24/salvador-dali-deepfake-dali-musuem-florida/
- 首個GPT-4驅動的人形機器人！無需編程+零樣本學習，還可根據口頭反饋調整行為2023-12-13
- IDC霍錦潔：AI PC將顛覆性變革PC產業2023-12-08
- AI視覺字謎爆火！夢露轉180°秒變愛因斯坦，英偉達高級AI科學家：近期最酷的擴散模型2023-12-03
- 蘋果大模型最大動作：開源M芯專用ML框架，能跑70億大模型2023-12-07
相關閱讀
