雷剛 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

暗光拍照也清晰，這是手機廠商目前激烈競爭的新拍照目標。

但除了堆攝像頭和硬件，AI科學家帶來算法方面的新突破。

他們提出基于深度學習優化光照的暗光下的圖像增強模型，用端到端網絡增強曝光不足的照片。

而且不是像以前的工作那樣，直接學習圖像到圖像的映射，而是在新網絡中引入中間照明，將輸入與預期的增強結果相關聯，增強網絡從專家修飾的輸入/輸出圖像學習復雜的攝影調整的能力。

結果證明，新算法模型，效果超過了市面上一眾當紅的多攝多硬手機。

這個新算法由騰訊優圖實驗室提出，王瑞星、沈小勇及賈佳亞是作者，論文已入選CVPR 2019.

傳統圖像增強算法不好用

優圖方面稱，人們在社交網絡中，往往喜歡分享自己用不同設備拍攝的照片，尤其是使用手機拍攝的照片，不過很多時候，由于低光照或者背光的環境下拍攝到的照片經常會產生欠曝光的現象，由于在圖像增強的整個過程不是線性的操作，并且增強的結果是很主觀的，因此欠曝光圖像增強是一個很具有挑戰性的任務。

雖然目前市面上存在了一些專業的圖像處理軟件，可以讓用戶交互式的處理圖像，如Adobe lightroom, PhotoShop。但是對于業余愛好者來說，能同時處理好顏色，對比度，調節光照等操作是非常困難的。

也有一些軟件提供了一鍵自動的增強圖像的功能，比如Lightroom的Auto Tone功能和iPhone的魔法棒增強功能，但是由于平衡各方面的調整是非常復雜的一件事。

這些軟件依然會得到一些失敗的案例。

傳統夜景圖像增強算法大致可以分為幾個方面：直方圖均衡化(Histogram equalization)，這種方法簡單的利用了圖像整體的統計性質，通常不能對復雜場景達到理想效果。

基于Retinex理論的增強算法，通常只能用單通道進行光照優化，顏色無法很好地回復，在光照復雜的情況下還容易出現過曝的現象。

這些傳統方法還容易在增加圖像亮度的同時，放大噪聲等瑕疵，影響圖像質量。

基于深度學習的方法，通常是直接訓練回歸(regression)模型，由于數據本身的特性，這種方法得到的結果通常清晰度、對比度比較低，而且會有一些人工痕跡。

轉換方法+網絡結構設計

對此，騰訊優圖將圖像增強問題，轉化為光照優化問題。

之前的神經網絡都是從訓練數據，學習原始圖像到清晰圖像之間的回歸映射。

優圖則是希望通過神經網絡學習出中間結果圖像的光照圖（illumination）, 進而再通過輸入圖像和光照圖的關系，得到增強后的圖片。

與幾個具有代表性的商業軟件效果對比：

具體方面及網絡結構：

在網絡結構的設計方面，本方案采用創新的雙分支的網絡結構。

網絡分成了全分辨率分支和低分辨率分支。其中低分辨率分支用于學習到全圖光照的整體信息，低分辨率圖像的使用，有助于增大網絡感受野，提高算法速度。

低分辨率分支的結果將會傳遞給高分辨率網絡分支，用于重建全分辨率下的亮度圖，并最終得到增強后的圖像。

此外，優圖設計的新的損失函數，包括：圖像重建損失、光照局部平滑損失以及顏色損失，進一步幫助騰訊優圖的網絡產生更加穩定、清晰、顏色真實鮮艷的結果。

得益于雙分支網絡的設計，以及全分辨率分支中的雙邊上采樣模塊的設計，本方法可以在保證效果的同時，在GPU上對于高分辨率圖片（例如：3000×2000）進行實時的增強。

實現細節如下：

夜景圖像增強的任務中，一個難點是難以獲取到成對的增強前后的訓練圖像。在該項目中，優圖使用了MIT-Adobe 5K數據集，該數據集包含了5000組原始圖片和專業美工調節后的圖像。

此外，為了適應光照程度更加復雜的場景，優圖自行采集數千組高清暗光照片作為訓練數據。由此構建出的數據集，使得本算法在復雜光照下，也能得到穩定結果。

對于上邊描述的深度神經網絡結構，優圖利用對應的暗光和清晰圖片進行網絡的訓練。因為卷積網絡不限制輸入圖片的大小，研究人員隨機從圖片中截取256×256尺寸大小的圖片塊進行網絡訓練來更好地利用GPU顯存。訓練好的模型可以利用在任何尺寸的圖片上。

除了對于欠曝光圖像增強外，優圖對于一些市面上常見的手機（華為P20, 小米MiX3, iPhoneX, 三星S9+）拍攝的結果，利用新算法也進行了進一步的美化，效果圖如下：

論文傳送門

Underexposed Photo Enhancement using Deep Illumination Estimation

《基于深度學習優化光照的暗光下的圖像增強》

http://jiaya.me/papers/photoenhance_cvpr19.pdf

One more thing

不過，近日騰訊優圖最受熱議的還有一樁AI公益的案例。

央視欄目《等著我》報道稱，優圖突破“跨年齡人臉識別”，幫助警方尋回了被拐十年兒童。

優圖方面介紹，這是優圖創新性技術在公益領域的成果。

依托騰訊海量數據，騰訊優圖首創了跨年齡人臉識別技術，重點解決尋人場景中嬰幼兒被拐的情況。

為了充分的從數據中學習人臉自然的跨年齡變化規律，騰訊優圖提出了基于DDL（分布式蒸餾學習法則）學習策略的正則化遷移學習策略。

基于該策略，算法模型可充分進行跨年齡人臉識別學習，從而讓困難的跨年齡識別更加可靠和精準。

騰訊方面稱，這是對“科技向善”的最好實踐。

— 完 —

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復“招聘”兩個字。

量子位 QbitAI · 頭條號簽約作者

?’?’ ? 追蹤AI技術和產品新動態