基于GAN的“真人捏臉”已上線，照片逼真無死角：臉型、五官、表情等均可控制
用3D模型參數，控制2D人臉生成
蕭簫 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
使用GAN生成的2D人臉模型很美麗，然而卻終究缺了點什么？
沒錯，雖然GAN能生成逼真的人臉，但距離自己理想的人臉，總有那么一點不完美——面部表情、臉上皺紋、發質……
由于GAN沒辦法進行參數調控，即使人臉再逼真，也沒辦法控制五官等細節。
現在，一個新模型GIF?（Generative Interpretable Faces）的出現打破了這一定律：
不僅能用GAN生成逼真的人臉，而且還能通過具體的參數控制它。
這是怎么做到的？
用3D模型的參數，控制2D照片
目前的3D和2D人臉生成模型，在真實性和參數可控這兩方面，有著很大的差異。
3D人臉的參數可以分為幾種：臉型變化、姿勢差異、表情變化。
然而，目前生成的3D人臉模型普遍存在一個問題：與真實的人臉相差甚遠。
因為無論是頭發、眼睛、膚質（皺紋）或者口腔（牙齒、舌頭），目前的3D人臉模型都難以進行真實的模擬。
與之相反的是，2D人臉生成模型（如目前很火的StyleGAN、StyleGAN2等）雖然能實現照片級模擬，但卻沒辦法獨立更改如面部外觀、形狀或表情等參數。
那么，有沒有辦法將這兩類人臉模型的優勢結合起來，利用3D模型的參數控制，生成可以控制具體環節的2D照片呢？
抱著這樣的想法，研究者們將2D人臉生成模型StyleGAN2，與一個名為FLAME的3D人臉生成模型進行了結合，如下圖所示。
原本在StyleGAN2中，會插入一部分隨機噪音，用于調節局部紋理的變化，現在則是將FLAME模型生成的紋理和常規渲染當做這個噪聲，輸入StyleGAN2中，以對生成的圖像產生直接影響。
在這其中，生成的圖像會被投影到3D人臉生成模型的網格（mesh）上，獲得一個不完整的紋理圖，也就是所謂的“紋理竊取”（texture stealing）。
從下圖可見，“紋理竊取”看起來就像是把人臉分成了幾部分，強行進行了拼湊。
事實上，這是用3D模型，來對人臉進行參數控制的重要步驟。在進行像素對齊后，模型參數與生成圖像之間的像素局部關聯就能變得明確。
也就是說，這一生成模型不僅能利用GAN的特性，生成逼真的人臉圖像，還能根據3D模型給出的參數，進行人臉細節的調控。
那么，這一模型的效果具體如何呢？
各種細節都能變
從控制情況來看，參數對人臉模型的控制還是不錯的。
下圖是改變參數對人臉造成的影響。
與第一行相比，第二行改變了發型，第三行主要改變了個人身份，第四行改變了五官參數，第五行改變了姿勢，第六行改變了外觀，第七行則是對膚色和光照角度的改變。
可以看出，參數對于人臉的控制還是比較明顯的。
如果想不好要生成什么樣的人臉，也可以用隨機采樣的模式。
從下圖可以看出，從年齡、膚色、表情、姿勢等來看，模型也保留了GAN的效果，生成的人臉圖像也具有非常大的差異性，但無一例外都比較逼真。
當然，GAN該有的那些玩法，這個模型也有，不僅能生成口對口動畫，還能與語音相結合生成演講模型。
具體到圖像質量，GIF的FID得分也非常不錯（數值越低越好）。
相比于動畫捏臉模型，這個GAN版捏臉模型，可以說是非常逼真了。
作者介紹
一作Partha Ghosh，來自馬普所，研究領域涉及計算機視覺、計算機圖形學和機器學習的交叉學科，教計算機如何看待和理解人類行為。
二作Pravir Singh Gupta，來自德州農工大學，目前是一名博士生。共同二作Roy Uziel，來自內蓋夫本-古里安大學，目前在馬普所實習。
此外，作者還有Anurag Ranjan、Michael Black和Timo Bolkart，他們都來自馬普所。
目前代碼已經開源，動動手指，捏出你理想中的人臉模型吧~
代碼地址：
https://github.com/ParthaEth/GIF
論文地址：
https://arxiv.org/abs/2009.00149
- 首個GPT-4驅動的人形機器人！無需編程+零樣本學習，還可根據口頭反饋調整行為2023-12-13
- IDC霍錦潔：AI PC將顛覆性變革PC產業2023-12-08
- AI視覺字謎爆火！夢露轉180°秒變愛因斯坦，英偉達高級AI科學家：近期最酷的擴散模型2023-12-03
- 蘋果大模型最大動作：開源M芯專用ML框架，能跑70億大模型2023-12-07
相關閱讀
