用iPhone給林徽因拍照是啥樣？這款“穿越相機”把老照片變現代風
開發“水淹食堂”的ACM班校友羅璇又出新作
曉查 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
如何用iPhone給林肯拍大頭照？除了肉身穿越回19世紀以外，你還可以試試這款“穿越相機”。
照相技術發明100多年以來，有無數歷史名人留下了黑白照片。然而因為時代不同、技術不同以及歲月的侵蝕，這些歷史照片逐漸失真。
能不能用現代相機的風格把他們都恢復原貌呢？
現在，來自華盛頓大學、UC伯克利、谷歌的最新論文Time-Travel Rephotography，將這些照片里的歷史人物真實地展現在屏幕上。
比如，居里夫人、愛迪生、林徽因……
放大瑕疵的老照片如何恢復
從黑白照片乃至畫像恢復人臉并不是什么新鮮事，比如最近恢復兵馬俑、古代帝王的視頻在社交網絡大熱。
但是從古老照片恢復人臉要復雜得多。
我們先看一張著名作家卡夫卡的還原照。Zhang等人恢復的照片粗看起來皮膚上有很多瑕疵，而“穿越相機”恢復的照片似乎自帶“磨皮”。
那么是前一張恢復照片更加真實嗎？
事實并非如此，卡夫卡臉上的瑕疵是當年底片技術導致的。如果只是簡單給黑白照片填色，那么就不能充分表征舊膠片的特性和老化過程。
最早誕生玻璃感光底片只對藍光紫外光敏感，1873年推出的新感光乳膠也只對綠光和藍光敏感。
由于他們都缺乏對紅光的敏感性，造成了人物臉上的雀斑和皺紋被放大，嘴唇變黑。
所以我們今天來看林肯的原始照片，會發現林肯臉上呈現出很多夸張的皺紋：
1907年，對紅藍綠都敏感的全色底片誕生。所以1913年采用新技術拍攝的潘克斯特（時年55歲），臉部皮膚要干凈和平整得多：
因此，恢復這些歷史照片不僅要考慮照片的模糊、褪色、噪點、低分辨率等問題，還要考慮不同老照片對顏色的感光差異。
而這款“穿越相機”相比之前的方法，在人物的還原上避免了當時技術造成的失真。
從StyleGAN2出發
對于1873年之前的照片，作者使用了藍光敏感模型，對于1873年至1907年的照片，手動在藍光敏感和正色底片之間選擇，然后在1907年以后拍攝的照片，則在所有模型中手動選擇。
作者利用StyleGAN2框架將舊照片映射到現代高分辨率照片的空間中，從而在統一的框架中實現所有這些效果。
作者使用其他彩色樣本圖像作為參考，它們與黑白圖像具有相似的面部特征，但包含高頻細節以及自然色和照明。為了進一步減小輸入圖像和現代人像之間的感知身份差距，他們還設計了特別適合于老照片的重建損失。
模型的結構如下：
1、同級編碼器
以低分辨率灰度參考圖像I作為輸入，生成具有真實顏色和相似面部特征的同級圖像Is。
2、同級顏色和細節轉換
為了進一步限制顏色和皮膚細節，使其與同級圖像匹配，模型引入了顏色轉換損失Lcolor強制StyleGAN2的ToRGB層輸出與同級圖像的相似性。
3、老照片的重建損失
為了進一步減小輸入圖像和現代人像之間的感知身份差距，作者特別設計了適合于老照片的重建損失Lrecon，它對老照片的缺陷具有魯棒性。
4、潛在編碼優化
將之前的所有損失函數疊加起來，以此進行優化，生成最終圖像?。
據作者介紹，生成這樣一張1024×1024的照片，需要在英偉達Titan X上運行10分鐘。
與其他幾種恢復老照片的方法相比，“穿越相機”的效果顯然有著更真實的觀感。
不過，“穿越相機”現在還存在著一些缺點。
首先是對在恢復人物發行與配飾方面存在著錯誤，或者會丟失細節。
另外，生成照片也非常依賴于統計圖像的選擇，如果選擇了和原照片不一樣的種族或性別，會造成黑人變白人、女人變男人。
作者簡介
這篇文章作者包括華盛頓大學、UC伯克利與谷歌等學校與機構的6名學者。
其中第一作者是畢業上海交大ACM班校友羅璇，她現就讀于華盛頓大學。
她今年還有一篇“水淹食堂”的CV論文，因為驚艷的效果引起了不小的轟動。
從交大畢業后，羅璇選擇進入華盛頓大學研究“虛擬視覺”，又先后在迪士尼、谷歌等知名企業實習。
作者在項目主頁中表示，“穿越相機”的代碼將會很快開源。不過根據“水淹食堂”這篇論文開源的節奏，我們恐怕還要等上兩三個月了。
論文地址：
https://arxiv.org/abs/2012.12261
項目地址：
https://time-travel-rephotography.github.io/
- 腦機接口走向現實，11張PPT看懂中國腦機接口產業現狀｜量子位智庫2021-08-10
- 張朝陽開課手推E=mc2，李永樂現場狂做筆記2022-03-11
- 阿里數學競賽可以報名了！獎金增加到400萬元，題目面向大眾公開征集2022-03-14
- 英偉達遭黑客最后通牒：今天必須開源GPU驅動，否則公布1TB機密數據2022-03-05
