美圖秀秀又有P圖黑科技：上GAN修老照片，消除人臉馬賽克，在線就能體驗
美圖秀秀，現在P圖新增最新黑科技。
乾明 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
美圖秀秀，現在P圖新增最新黑科技。
一言以蔽之，不服就GAN（生成對抗網絡）。
不僅能夠照片模糊、失焦等問題，還能去掉馬賽克。
當然，也會順手幫你美顏。
比如，這是一張20年前的圖片，流傳至今已經變得模糊了。P圖后，效果是這樣的：
圖片是不模糊了，但是這個美顏效果……Emmm
甚至打上馬賽克，它也能給你把皮膚“磨得”相對來說比較平整。
這就是美圖最近推出的“老照片修復”功能，能夠取得這樣的效果，不僅僅只是靠傳統P圖算法，還用上了GAN。
用GAN來P圖
美圖的GAN，名為BeautyGAN，由美圖影像實驗室MTlab研發。
主要用于解決圖片被壓縮，或者夜拍、抓拍或是抖動造成的照片模糊或者失焦等問題。
修復一張照片通常分兩步：人像修復和畫質增強。
人像修復
人像修復基本上對人臉進行修復，包括人臉裁框和臉部生成修復。
實現人臉裁框方面，美圖舍棄了以往單純利用眼睛間距來裁切人臉的方式，而采用最小包圍盒矩形框來裁切人臉，具體來說是這樣的：
先用目前成熟的基于CNN的人臉檢測和人臉對齊方法獲得圖像中的人臉點集，計算其外接矩形，向外拓展得到人臉的裁切矩形。
然后通過人臉的裁切矩形，獲得人臉的旋轉角度，從原圖中裁取擺正后的人臉圖像。
臉部修復，就是GAN發揮作用的地方。
美圖介紹稱，人臉生成存在五官變形、丟失遮擋(如手、劉海等)信息等，導致大部分深度學習生成的人臉和真實人臉存在較大差距，生成的臉一眼就能看出來是假的。
還好StyleGAN出現了，借用圖像風格遷移能生成逼真人臉。但這僅僅只是生成，并不能實現一對一的人臉修復。
為了用StyleGAN，美圖為其設計了一個編碼器-解碼器網絡形式。
他們說，在這個過程中，如果想復用編碼器中的featuremap，保留臉部的五官特征，避免發生變形，就需要將其和解碼器對應大小的featuremap連接起來。
與以往采用加的連接形式，美圖采用的是concat的方式，可保留編碼器結構的部分featuremap，避免臉部嚴重變形或者丟失臉部遮擋(如手、劉海等)的信息。
實際的操作過程，是在網絡中，輸入一張s x s的圖，經過五次下采樣，得到一張大小s32 x s32的featuremap，再經5次上采樣，生成一張大小為S x S的修復臉部圖。
為了進一步增強BeautyGAN的生成能力，美圖還借助了StyleGAN的訓練方式。
首先，他們訓練了解碼器的生成能力，即輸入一個大小為s32 x s32的隨機向量，通過逐層的上采樣加上concat的隨機向量，最終生成一張s x s大小的人臉，確保生成的人臉看不出真假。
上述的解碼器網絡結構就是一個生成器，然后加上判別器，就構成了美圖的BeautyGAN。
美圖表示，直到解碼器結構訓練穩定具備生成人臉的能力后，才會與編碼器結構合并，并進行整個網絡結構的訓練。
人像修復之后，就會進入下一階段。
畫質增強
美團表示，在這個過程中，分辨率比較高的圖片在進行全圖去噪等操作時，比較耗時間。
為了提高計算效率，他們將待修復圖縮小到一定尺度，再進行分塊、去噪等修復操作。然后通過guided-filter網絡結構的畫質增強方案恢復為原始分辨率。
之后，再利用超分辨率網絡，最終使得畫質整體變得更加清晰。
至此，整個圖像的處理流程也就大致明了。
美圖影像實驗室MTlab
最后，簡單介紹下這次技術背后的美圖影像實驗室MTlab。
美圖影像實驗室（MTlab）成立于2010年。2014年正式獨立，目標是利用不斷累計的圖像數據，訓練出更加精準的機器算法，利用算法提供更多服務。
目前，核心技術服務有人臉技術、3D技術、肢體檢測、圖像恢復、圖像增強、增強現實、圖像分割、影像生成、極致美顏、美妝技術、AI測膚等11項。
根據官方網站介紹，自2015年以來，美圖影像實驗室已經發表20多篇論文，其中不乏ICCV、ECCV、CVPR等計算機視覺領域的頂級學術會議。而且，在今年的CVPR和ICCV上的競賽中，也都獲得了有冠軍。
基于MTlab，美圖在2019年4月推出AI開放平臺，對外進行解決方案輸出，已經有用寶潔、屈臣氏、歐萊雅、絲芙蘭、淘寶、百度等多家公司使用。
現在美圖影像實驗室MTlab的負責人是萬鵬飛，博士畢業于香港科技大學ECE系，本科畢業于中國科學技術大學EEIS系。研究方向主要包括計算機視覺和計算成像。
One more thing…..
還是溫馨提示一下吧。
美圖這只AI，雖然能夠去掉馬賽克，但比較重的馬賽克，效果并不太理想。
而且也只能去掉人臉上的馬賽克，連沸羊羊就不行：
看，根本沒啥效果……
所以，有大膽想法的小伙伴們，也不是想GAN就能GAN的。
- 滴滴副總裁葉杰平離職，他是出行巨頭的AI掌門人，戰勝Uber中國的關鍵科學家2020-09-07
- 董明珠的格力空調賣不動了：上半年營收同比腰斬，24年來首次被美的反超2020-09-01
- 手機配件市場上的“隱形巨頭”：80后長沙夫妻創辦，IPO首日市值逼近600億2020-08-31
- 寒武紀半年報：每天虧百萬，銷售力度提升營收反降11%，上市高峰市值跌去40%2020-08-30
