亮風臺CVPR 2019 oral presentation論文：端到端的投影儀光學補償

智能車參考 2019-05-30 17:46:23 來源：量子位

將于 6 月在美國長灘召開的CVPR 2019臨近，新的計算機視覺和模式識別算法成果不斷被披露，近日，AR產品與服務提供商亮風臺公布了投影AR算法研究最新成果，主要用于解決投影儀光學補償問題，即當投影屏幕不是理想的白色漫反射時，盡可能消除投影面上的圖案。

相關論文《End-to-end Projector Photometric Compensation》已經入選CVPR 2019的oral presentation環節。數據顯示，今年有超過 5165 篇的大會論文投稿，最終錄取1299 篇，而oral presentation的入選率只有提交論文的5%左右。

與之前提出的傳統的方法相比，新成果在數值和質量效果上大幅提升，可以預見，該成果將成為投影AR技術應用落地提供重要的技術基礎。

事實上，這不是亮風臺第一次在投影AR算法上取得重要研發突破，去年，亮風臺和美國兩所科研單位聯合研發出一套新的投影儀-相機聯合標定方法，對于一個相機姿態僅僅需要一次投影采樣，使標定效率和實用性大大優于之前的大部分標定系統，其成果發布于國際頂級增強現實會議ISMAR。ISMAR的參與對象主要為學術界，來自于工業界的工作鳳毛麟角。

《End-to-end Projector Photometric Compensation》的重要貢獻主要在以下幾點：

1. 首次將投影儀光學補償問題闡述為一個端到端的深度學習問題，然后構造一個新穎的名為CompenNet的卷積神經網絡（CNN）來隱式的學習這個復雜的補償函數。

2. 首次提出一個獨立于設備和實際投影的數據庫和評價基準，今后類似的工作可以在這個評價基準上統一比較，而不需要復現該研究中使用的設備和實際投影，以前的工作是沒有這樣的評價基準的。

3. 提供了一個預訓練的方法，將預訓練好的CompenNet遷移到新的投影屏幕和硬件設置上，只需要拍攝少量的采樣圖片就可以媲美甚至超過從零開始訓練CompenNet和傳統方法，這樣可以大量的節省采樣圖拍攝時間和訓練時間。

4. 在亮風臺提出的評價基準上比較了CompenNet和其他傳統的方法，以及一個通用的圖到圖遷移的深度學習框架pix2pix，實驗結果顯示在數值和質量效果上新方法都大幅度優于其他參與比較的方法。

背景介紹

這篇工作主要解決投影儀光學補償問題，即當投影儀屏幕不是理想的白色漫反射時，屏幕的顏色和紋理會導致用戶看到失真的效果，如下圖1所示。

亮風臺CVPR 2019 oral presentation論文：端到端的投影儀光學補償

圖1. (a) 正常光照下的具有紋理和顏色的投影屏幕。(b) 投影儀投射的圖片（也是我們想要看到的效果）。(c) 相機拍攝到的，沒有補償的投影結果，即將(b)直接投影到(a)上。(d) 我們模型計算出的補償圖。(e) 相機拍到的補償后的效果，即將(d)投影到(a)上。比較(c)和(e)，可以看到明顯提升的效果和細節。

為了解決投影儀光學補償問題，一般是用一個相機來拍攝大量的投影儀投射的圖片，然后從這些拍到的和投射的圖片對中擬合出一個光學補償函數，再將要投射的圖片經過這個光學補償函數補償，最后由投影儀投射，這樣投射的補償正好可以抵消非理想屏幕的顏色和紋理和投影儀本身的非線性光學特性。

但是以上的光學過程過于復雜，所以很多傳統方法以及目前效果較好的算法，都是將這個過程簡化為投影儀像素與相機拍到的像素只是一一對應，然后獨立地對每個像素擬合一個光學補償函數。這樣的假設，往往忽略了很多重要信息，比如由于投影儀和相機跟屏幕的距離，投影儀相機輕微失焦和屏幕表面相互反射等因素，每一個投影儀的像素并不是跟每個相機像素一一對應，很可能一個投影儀像素覆蓋了幾個相機的像素，這樣的簡化勢必影響投影儀光學補償的效果，實驗的結果也印證了這一點。