AI給老照片上色，真的準(zhǔn)嗎？技術(shù)圈和歷史圈吵了1000帖

夢(mèng)晨 2021-04-15 19:13:05 來源：量子位

夢(mèng)晨 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

AI給老照片上色，近來確實(shí)很火爆，但上的顏色真的準(zhǔn)確嗎？

有人便就此做了個(gè)實(shí)驗(yàn)，把20世紀(jì)初俄國的彩色照片去色后，再與AI上色的結(jié)果做對(duì)比。

如此對(duì)比結(jié)果之下，這位網(wǎng)友直接指出：

AI總是傾向于選擇不鮮艷的顏色，讓天空總是灰蒙蒙，人們的穿著都很樸素，地面充滿灰塵和泥土。

但更進(jìn)一步的，她所擔(dān)心的還有另外一點(diǎn)——AI會(huì)加重人們對(duì)過去“是枯燥乏味、死氣沉沉”的偏見。

她認(rèn)為給老照片上色這種工作，還是應(yīng)該交給人類專家完成。

AI，不行??。

此帖一出，在Reddit上的機(jī)器學(xué)習(xí)社區(qū)和歷史愛好者社區(qū)引發(fā)了大激辯。

不到一天的時(shí)間蓋起一千多樓，總計(jì)3萬5千贊。

但后來，因?yàn)槌车锰珔柡Γ急话嬷鲃h了……

來自不同社區(qū)的網(wǎng)友們，又在爭(zhēng)吵些什么呢？

技術(shù)界：你這算法靠譜嗎？

來自機(jī)器學(xué)習(xí)版塊的選手首先提出了質(zhì)疑：

你用的這個(gè)算法，他是State of the Art嗎？一看就是簡單地將損失函數(shù)設(shè)計(jì)成計(jì)算周圍像素的均方誤差(MSE)一類的東西，這樣就會(huì)促使AI選擇低飽和度的顏色。

有人給出了改進(jìn)思路，應(yīng)該把色相、飽和度和亮度的差異單獨(dú)加權(quán)，然后“懲罰”異常值，減少算法選擇低飽和度顏色的動(dòng)機(jī)。

懂?dāng)z影的選手指出，彩色照片去除RGB通道 ≠ 黑白相機(jī)原片。像適馬SD1 Merill和徠卡M Monochrom這樣的專業(yè)設(shè)備傳感器能捕捉到更大的動(dòng)態(tài)范圍。

目前的數(shù)據(jù)集為了方便，都是用彩色圖像去色做的，還沒見到過用真正的單色相機(jī)原片做訓(xùn)練的。

不服的人說，黑白照片就是有誤導(dǎo)性。

你看這一排柿子椒，去色以后質(zhì)感都一樣，人類也不能分出哪些是紅色哪些是綠色的。

有人認(rèn)為，人們不能把AI當(dāng)作魔法或奇跡，商業(yè)公司也不能把AI生成的內(nèi)容當(dāng)成事實(shí)去銷售。這是個(gè)商業(yè)倫理問題，而不是AI倫理問題。

手藝人：最重要的是文化

在照片上色愛好者聚集地，人們認(rèn)為手動(dòng)給老照片上色最有價(jià)值的環(huán)節(jié)其實(shí)是搜集資料。

尋找照片中事物應(yīng)有顏色的過程中總是能學(xué)到很酷的歷史知識(shí)。

也有人指出，在網(wǎng)上發(fā)布AI上色的照片，人們的焦點(diǎn)都放在對(duì)技術(shù)進(jìn)步的慶祝了。老照片背后的人文價(jià)值卻被忽略。

有人認(rèn)為AI在計(jì)算光照陰影方面很強(qiáng)，但挑選顏色還是需要人類專家的指導(dǎo)。

AI應(yīng)該像實(shí)習(xí)生一樣成為人類的助手，而不是人們把工作全丟給AI去做。

人與AI協(xié)作

其實(shí)人類指導(dǎo)AI給照片上色的研究已經(jīng)有了。這項(xiàng)研究發(fā)表在SIGGRAPH 2017大會(huì)上。

在演示中，人類可以在灰階圖像的任意像素指定顏色，AI會(huì)自動(dòng)計(jì)算適用的范圍，并實(shí)時(shí)給出預(yù)覽。

該算法使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)，灰階圖像和人類指定顏色作為輸入，自動(dòng)計(jì)算顏色的分布。

訓(xùn)練集包含130萬張彩色照片的去色版本，其中包含很多著名攝影作品。每個(gè)選色的人類用戶平均在每張照片上平均花費(fèi)1分鐘。

模型使用Caffe開發(fā)，后來補(bǔ)充了PyTorch版本，已在Github上開源。

CPU或GPU計(jì)算都支持，可以下一個(gè)玩玩。

Github地址：
https://github.com/junyanz/interactive-deep-colorization

論文地址：
https://arxiv.org/abs/1705.02999

SIGGRAPH演講：
https://www.youtube.com/watch?v=rp5LUSbdsys

參考鏈接：
[1]https://www.reddit.com/r/MachineLearning/comments/mqqnxj/d_r_aiml_colorisation_versus_actual_color_photos/
[2]https://www.reddit.com/r/Colorization/comments/mqn103/the_problem_with_ai_colorization/