AI為半世紀(jì)前的黑白電影照片上色：效果驚艷，Demo在線可玩
鵝妹子嚶！
銅靈 發(fā)自 凹非寺
量子位 出品 | 公眾號 QbitAI
半個(gè)世紀(jì)前拍攝的黑白老舊電影，現(xiàn)在迎來了人生的“第二春”。
在AI的幫助下，這些只有黑白灰三色的視頻片段，已經(jīng)變成了彩色的。
在Facebook的F8大會上，國外技術(shù)小哥Jason Antic展示了一種叫DeOldify的AI模型，這種技術(shù)為老電影上色效果堪稱驚艷。
不信？直接看效果：
比如，1960年的美國驚悚恐怖電影《驚魂記》：
用AI上色后的毫不違和，人臉部分的妝容也不別扭：
黑白電影時(shí)代的幽默大師卓別林，第一次在鏡頭下有了顏色：
89年前的美國電影Reefer Madness，就這樣被輕松還原了：
輸入黑白灰，輸出紅綠藍(lán)，這個(gè)AI模型開始大火。Jason Antic小哥的推特收獲了近800贊，推特網(wǎng)友直呼“Amazing！！！”、“very cool”、“wow”。
不過，這還不是DeOldify模型的全部實(shí)力。
在線試玩
除了視頻，DeOldify還能處理老舊的黑白照片和圖像。
比如1936年Dorothea Lange的攝影作品《移民母親》：
1920年在臥室放松的瑞典婦女：
1911年的Thanksgiving Maskers：
1941年在農(nóng)場的Lemuel Smith先生及其夫人以及他們年幼的孩子們：
1890年代末的挪威新娘：
1880年吸食鴉片的中國人：
以上這些畫作的上色，均由DeOldify完成。無論是人像還是場景，或是綠油油的田園景象，這只AI上色畫師的處理都自然完美。
好消息是，這個(gè)為圖像上色的模型現(xiàn)在還有了demo，你也能在線試玩了。
試玩地址：
https://colorize.cc/
操作也非常簡單，傳入一張黑白圖像，輸入自己的郵箱地址，不一會兒就能收到上了色的版本。
高效的NoGAN
上色大師DeOldify是怎么做出來的？
作者小哥表示，這背后是一套名為NoGAN的架構(gòu)。他自稱這是一種奇怪，但是非常高效的圖像到圖像的訓(xùn)練方法。
這種深度學(xué)習(xí)模型借鑒了當(dāng)前多種主流技術(shù)方法，包括：
自注意生成對抗網(wǎng)絡(luò)（Self-Attention Generative Adversarial Network）
生成器是一個(gè)預(yù)訓(xùn)練的Unet，小哥進(jìn)行了一個(gè)非常簡單的轉(zhuǎn)換過程，將其修改成了具有譜歸一化和自注意力。
相關(guān)研究：
https://arxiv.org/abs/1805.08318
兩個(gè)時(shí)間尺度更新規(guī)則
也就是說這是一個(gè)一對一的生成/辨別迭代，并且具有更高的辨別器學(xué)習(xí)率。這種修改能夠確保辨別器在生成器訓(xùn)練前被“捕獲”。
相關(guān)研究：
https://arxiv.org/abs/1706.08500
生成器的損失分為兩部分
一是基于VGG16的基本感知損失（或特征損失），這讓生成模型更偏向于輸入生成圖像。二是來自辨別器的損失，因?yàn)閮H單一模仿輸入并不能帶來很好的生成結(jié)果，可能會出現(xiàn)一些棕色/綠色/藍(lán)色的簡單堆疊來欺騙檢測。
所以需要意識到，生成對抗網(wǎng)絡(luò)的本質(zhì)就是學(xué)習(xí)損失函數(shù)。
NoGAN
重頭戲來了，NoGAN是一種新型的GAN訓(xùn)練方法，能用來解決此前GAN訓(xùn)練過程中的關(guān)鍵問題。
NoGAN的相關(guān)論文雖然還沒有放出，但小哥在Github中大致介紹了NoGAN的特點(diǎn)。
此前，訓(xùn)練模型的大部分時(shí)間都用在了預(yù)訓(xùn)練生成器和critic這一部分，但NoGAN可以花費(fèi)最少的時(shí)間直接進(jìn)行訓(xùn)練。
這種方法的訓(xùn)練流程為：
先用常規(guī)方法訓(xùn)練具有特征損失的生成器，接下來從中生成圖像，并把辨別器當(dāng)成一個(gè)二元分類器，區(qū)分輸出圖像和真實(shí)圖像之間的差距。對于辨別器來說有一個(gè)拐點(diǎn)，在拐點(diǎn)附近生成圖像質(zhì)量最佳。為了找到這個(gè)拐點(diǎn)，小哥也只能通過數(shù)次嘗試，沒有巧方法。
NoGAN訓(xùn)練還有一個(gè)關(guān)鍵問題，可以在最初GAN訓(xùn)練后，用相同的方式對生成的圖像重復(fù)進(jìn)行預(yù)訓(xùn)練。
傳送門
Github地址：
https://github.com/jantic/DeOldify/blob/master/README.md
— 完 —
誠摯招聘
量子位正在招募編輯/記者，工作地點(diǎn)在北京中關(guān)村。期待有才氣、有熱情的同學(xué)加入我們！相關(guān)細(xì)節(jié)，請?jiān)诹孔游还娞?QbitAI)對話界面，回復(fù)“招聘”兩個(gè)字。
量子位 QbitAI · 頭條號簽約作者
?’?’ ? 追蹤AI技術(shù)和產(chǎn)品新動態(tài)
相關(guān)閱讀
建神經(jīng)網(wǎng)絡(luò)模型，哪種優(yōu)化算法更好？35000次測試告訴你丨圖賓根大學(xué)出品
130種優(yōu)化器，最早追溯到1964年
CNN更新?lián)Q代！性能提升算力減半，還即插即用
OctConv即插即用，無需修改原來的網(wǎng)絡(luò)架構(gòu)，也不用調(diào)整超參數(shù)，方便到家。
