字節AI實習生搞出這個玩意兒，撩到了圖靈獎大神，我用了用結果畫風逐漸鬼畜起來……
只需100對圖像訓練1小時
夢晨 魚羊 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
這樣的于和偉老師，還是你熟悉的那個“接著奏樂接著舞”的feel嗎？
而如果容嬤嬤也進入到這個次元，畫風竟然……
啊，是世外高人的感覺沒錯了，容嬤嬤不愧是童年真神！
那如果把互聯網大佬們變成這樣的畫風，又會是怎樣一種場面？
先看看雷軍，端的是劍眉星目，風流倜儻。
再看BAT的三位大佬……
好家伙，感覺可以直接看圖寫作，去橙光游戲整一個《互聯網風云錄之三雄爭霸》了。
（萬字腹稿已就位……）
連歪果仁，也能被這個次元統一畫風。
看圖靈獎得主、深度學習三巨頭，Bengio狷狂，Hinton堅毅，LeCun冷傲，絕世高手的feel直接拉滿，隨時可以華山論劍走一波。
△Hinton大佬小說男主臉實錘
連LeCun本人看了，都忍不住轉發：
想必你也看出來了，這確實又是GAN的杰作。
不過這個來自字節跳動的GAN屆新秀，可不止是能當橙光游戲立繪帶師。
卡通風：
油畫風：
甚至是特朗普風……
只要男女各100張照片作為訓練樣本，讓AgileGAN看上1個小時，它就都能信手拈來。
即使照片上的人戴了口罩，也能把臉補全：
還會自動把帽子轉換成頭發。戴的帽子越多頭發就越密，如果戴5層帽子，就是這樣了：
甚至還能開發出一些鬼畜玩法，比如把生成的圖像再喂回去……
△LeCun變美女
而培養出這么一個文能繪圖、武能鬼畜的GAN的，是字節跳動和南洋理工大學。一作宋果鮮，目前在字節跳動擔任研究實習生。
并且，AgileGAN的相關論文已經入選SIGGRAPH 2021。
只需100對樣本訓練1小時
之所以命名為AgileGAN?(敏捷GAN)，是因為它在一塊V100上訓練時間只需要1小時，訓練數據集也只需要大概100對樣本(男女各100張)。
這么強，怎么做到的？
要知道風格遷移的一大難點，就是如照片到卡通這種面部幾何形狀變化較大的遷移。
如果過于強調保留幾何形狀特征，會造成不符合審美的扭曲與瑕疵。
但是保留的少了遷移完就和輸入的照片不像了。
△以前的算法不是臉發綠就是五官扭曲
這是因為，風格遷移算法如StyleGAN2，通把照片的特征編碼成向量，逆映射(Inversion Mapping)到隱空間?(Latent Space)。
在此基礎上對向量進行變換，再映射回圖像，就能產生加減年齡，轉換性別的效果。
△圖源 GAN Inversion: A Survey
但是AgileGAN團隊發現，像StyleGAN2那樣尋找最佳的隱空間映射是行不通的，因為適用于真實照片的映射并不一定適用于其他風格。
AgileGAN以StyleGAN2為基礎進行改進，解決辦法分為兩部分。
第一個是層級變分自編碼器?(hierarchical Variational Eutoencoder,簡稱hVaE)。
在確保映射隱空間分布符合原始高斯分布的同時，將原來的一個隱空間分成不同分辨率的多個隱空間，可以更好地編碼圖像中不同層次的細節。
第二個是從StyleGAN2的預訓練權重開始，重新微調出一個屬性感知的生成器。
包括不同屬性（如性別、年齡）的多個生成路徑和多個判別器，以更好地實現依賴屬性的風格遷移。
StyleGAN2生成器和屬性感知的生成器這兩個訓練階段是獨立執行的，可以并行訓練。
這樣分開操作不僅減少了需要的訓練數據集大小，還使風格遷移擁有更大的靈活性。
不過使用小數據集時判別器容易過擬合。解決辦法是加入一個早期停止策略，一旦風格化效果達到預期，就停止訓練。
這還沒完，如果用上一階運動技術(First Order Motion)，AgileGAN還可以完成視頻的風格遷移。
字節跳動實習生一作
另外，AgileGAN還是個“實習生作品”，成型于一作宋果鮮在字節跳動實習期間。
宋果鮮，本科畢業于中科大數學專業，目前正在南洋理工大學攻讀計算機科學博士學位。同時，他也是字節跳動美國AI實驗室的實習生。
他的研究方向主要是計算機視覺和計算機圖形學，包括基于圖像的3D人臉重建/分析、VR/AR應用等等。
所以，在AgileGAN眼里，宋同學又是什么樣的呢?
發量和發質，真的很優秀了。
說起來，沒準以后就能在抖音直接玩上這樣的GAN了。
要是等不及，作者已經放出了試玩版：
http://www.agilegan.com/
論文地址：
https://guoxiansong.github.io/homepage/paper/AgileGAN.pdf
項目地址：
https://guoxiansong.github.io/homepage/agilegan_cn.html
參考資料：
[1]
https://www.researchgate.net/publication/348487325_GAN_Inversion_A_Survey
[2]
https://mp.weixin.qq.com/s/ayt6g-5KoSV14s6a5mp9pg
— 完 —
- 蘋果芯片主管也要跑路！庫克被曝出現健康問題2025-12-07
- 世界模型和具身大腦最新突破：90%生成數據，VLA性能暴漲300%｜開源2025-12-02
- 谷歌新架構突破Transformer超長上下文瓶頸！Hinton靈魂拷問：后悔Open嗎？2025-12-05
- 90后華人副教授突破30年數學猜想！結論與生成式AI直接相關2025-11-26
