雷剛 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
暗光拍照也清晰，這是手機廠商目前激烈競爭的新拍照目標。
但除了堆攝像頭和硬件，AI科學家?guī)硭惴ǚ矫娴男峦黄啤?/p>
他們提出基于深度學習優(yōu)化光照的暗光下的圖像增強模型，用端到端網(wǎng)絡增強曝光不足的照片。
而且不是像以前的工作那樣，直接學習圖像到圖像的映射，而是在新網(wǎng)絡中引入中間照明，將輸入與預期的增強結果相關聯(lián)，增強網(wǎng)絡從專家修飾的輸入/輸出圖像學習復雜的攝影調整的能力。
結果證明，新算法模型，效果超過了市面上一眾當紅的多攝多硬手機。
這個新算法由騰訊優(yōu)圖實驗室提出，王瑞星、沈小勇及賈佳亞是作者，論文已入選CVPR 2019.
傳統(tǒng)圖像增強算法不好用
優(yōu)圖方面稱，人們在社交網(wǎng)絡中，往往喜歡分享自己用不同設備拍攝的照片，尤其是使用手機拍攝的照片，不過很多時候，由于低光照或者背光的環(huán)境下拍攝到的照片經(jīng)常會產生欠曝光的現(xiàn)象，由于在圖像增強的整個過程不是線性的操作，并且增強的結果是很主觀的，因此欠曝光圖像增強是一個很具有挑戰(zhàn)性的任務。
雖然目前市面上存在了一些專業(yè)的圖像處理軟件，可以讓用戶交互式的處理圖像，如Adobe lightroom, PhotoShop。但是對于業(yè)余愛好者來說，能同時處理好顏色，對比度，調節(jié)光照等操作是非常困難的。
也有一些軟件提供了一鍵自動的增強圖像的功能，比如Lightroom的Auto Tone功能和iPhone的魔法棒增強功能，但是由于平衡各方面的調整是非常復雜的一件事。
這些軟件依然會得到一些失敗的案例。
傳統(tǒng)夜景圖像增強算法大致可以分為幾個方面：直方圖均衡化(Histogram equalization)，這種方法簡單的利用了圖像整體的統(tǒng)計性質，通常不能對復雜場景達到理想效果。
基于Retinex理論的增強算法，通常只能用單通道進行光照優(yōu)化，顏色無法很好地回復，在光照復雜的情況下還容易出現(xiàn)過曝的現(xiàn)象。
這些傳統(tǒng)方法還容易在增加圖像亮度的同時，放大噪聲等瑕疵，影響圖像質量。
基于深度學習的方法，通常是直接訓練回歸(regression)模型，由于數(shù)據(jù)本身的特性，這種方法得到的結果通常清晰度、對比度比較低，而且會有一些人工痕跡。
轉換方法+網(wǎng)絡結構設計
對此，騰訊優(yōu)圖將圖像增強問題，轉化為光照優(yōu)化問題。
之前的神經(jīng)網(wǎng)絡都是從訓練數(shù)據(jù)，學習原始圖像到清晰圖像之間的回歸映射。
優(yōu)圖則是希望通過神經(jīng)網(wǎng)絡學習出中間結果圖像的光照圖（illumination）, 進而再通過輸入圖像和光照圖的關系，得到增強后的圖片。
與幾個具有代表性的商業(yè)軟件效果對比：
具體方面及網(wǎng)絡結構：
在網(wǎng)絡結構的設計方面，本方案采用創(chuàng)新的雙分支的網(wǎng)絡結構。
網(wǎng)絡分成了全分辨率分支和低分辨率分支。其中低分辨率分支用于學習到全圖光照的整體信息，低分辨率圖像的使用，有助于增大網(wǎng)絡感受野，提高算法速度。
低分辨率分支的結果將會傳遞給高分辨率網(wǎng)絡分支，用于重建全分辨率下的亮度圖，并最終得到增強后的圖像。
此外，優(yōu)圖設計的新的損失函數(shù)，包括：圖像重建損失、光照局部平滑損失以及顏色損失，進一步幫助騰訊優(yōu)圖的網(wǎng)絡產生更加穩(wěn)定、清晰、顏色真實鮮艷的結果。
得益于雙分支網(wǎng)絡的設計，以及全分辨率分支中的雙邊上采樣模塊的設計，本方法可以在保證效果的同時，在GPU上對于高分辨率圖片（例如：3000×2000）進行實時的增強。
實現(xiàn)細節(jié)如下：
夜景圖像增強的任務中，一個難點是難以獲取到成對的增強前后的訓練圖像。在該項目中，優(yōu)圖使用了MIT-Adobe 5K數(shù)據(jù)集，該數(shù)據(jù)集包含了5000組原始圖片和專業(yè)美工調節(jié)后的圖像。
此外，為了適應光照程度更加復雜的場景，優(yōu)圖自行采集數(shù)千組高清暗光照片作為訓練數(shù)據(jù)。由此構建出的數(shù)據(jù)集，使得本算法在復雜光照下，也能得到穩(wěn)定結果。
對于上邊描述的深度神經(jīng)網(wǎng)絡結構，優(yōu)圖利用對應的暗光和清晰圖片進行網(wǎng)絡的訓練。因為卷積網(wǎng)絡不限制輸入圖片的大小，研究人員隨機從圖片中截取256×256尺寸大小的圖片塊進行網(wǎng)絡訓練來更好地利用GPU顯存。訓練好的模型可以利用在任何尺寸的圖片上。
除了對于欠曝光圖像增強外，優(yōu)圖對于一些市面上常見的手機（華為P20, 小米MiX3, iPhoneX, 三星S9+）拍攝的結果，利用新算法也進行了進一步的美化，效果圖如下：
論文傳送門
Underexposed Photo Enhancement using Deep Illumination Estimation
《基于深度學習優(yōu)化光照的暗光下的圖像增強》
http://jiaya.me/papers/photoenhance_cvpr19.pdf
One more thing
不過，近日騰訊優(yōu)圖最受熱議的還有一樁AI公益的案例。
央視欄目《等著我》報道稱，優(yōu)圖突破“跨年齡人臉識別”，幫助警方尋回了被拐十年兒童。
優(yōu)圖方面介紹，這是優(yōu)圖創(chuàng)新性技術在公益領域的成果。
依托騰訊海量數(shù)據(jù)，騰訊優(yōu)圖首創(chuàng)了跨年齡人臉識別技術，重點解決尋人場景中嬰幼兒被拐的情況。
為了充分的從數(shù)據(jù)中學習人臉自然的跨年齡變化規(guī)律，騰訊優(yōu)圖提出了基于DDL（分布式蒸餾學習法則）學習策略的正則化遷移學習策略。
基于該策略，算法模型可充分進行跨年齡人臉識別學習，從而讓困難的跨年齡識別更加可靠和精準。
騰訊方面稱，這是對“科技向善”的最好實踐。
— 完 —
誠摯招聘
量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節(jié)，請在量子位公眾號(QbitAI)對話界面，回復“招聘”兩個字。
量子位 QbitAI · 頭條號簽約作者
?’?’ ? 追蹤AI技術和產品新動態(tài)
