送餐送貨機器人、自動駕駛車、掃地機器人，再也不用擔心撞上玻璃櫥窗了丨CVPR2020

蕭簫 2020-07-20 14:11:57 來源：量子位

蕭簫 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

自動送貨車撞上玻璃、掃地機器人撞碎玻璃傷行人……如今這些事件也即將成為過去式。

大連理工大學等單位研發(fā)了一個玻璃檢測神經(jīng)網(wǎng)絡，能夠利用AI在真實環(huán)境下檢測玻璃。

△?圖左為目標場景，圖右黃色部分為玻璃檢測

從圖中可見，神經(jīng)網(wǎng)絡能很好地將玻璃從實際場景中分割出來。

但事實上，玻璃檢測絕非想象中那般簡單，不僅因為它幾乎是透明的，而且還具有反射性。

更何況，玻璃并沒有固定的形狀，無法根據(jù)外形判定某一區(qū)域是否存在玻璃。

既然如此，為什么人眼能這么準確地判定出玻璃的存在呢？

全新的神經(jīng)網(wǎng)絡GDNet

研究發(fā)現(xiàn)，人眼不僅能通過玻璃內(nèi)外部顏色的差異來判斷玻璃的存在，還能根據(jù)反射產(chǎn)生的光斑或重影發(fā)現(xiàn)玻璃。

這給了研究者們很大的啟發(fā)，并最終設計了名為大視場上下文特征融合（Large-field Contextual Feature Integration ，下簡稱LCFI）的模塊。

△?LCFI模塊構造

LCFI模塊用來同時提取高級語義特征和顏色紋理等低級特征兩種上下文特征，用于檢測真實場景中玻璃的存在。

為了提取大量上下文信息，通常的做法是采用大卷積核或進行擴張卷積，但前者會導致大計算量，后者則會稀疏采樣。

而且，這兩種方法并非最優(yōu)。

△?實驗對比效果

研究發(fā)現(xiàn)，采用非局部運算（non-local）可以同時解決這兩個問題，便有了LCFI模塊。

LCFI模塊采用空間可分離卷積，從水平和垂直兩個維度分別對圖像進行卷積。

由于圖像中玻璃區(qū)域的信息非常復雜，且與非玻璃區(qū)域有一定的相似度，為了消除這種歧義，模塊將再進行一遍卷積，不過這次是先從垂直、再從水平維度提取互補的上下文特征。

最后，將提取的特征進行融合。

而這個LCFI模塊，是玻璃檢測神經(jīng)網(wǎng)絡GDNet中最核心的部分。

△?GDNet網(wǎng)絡示意圖

GDNet網(wǎng)絡整體工作原理如下：

第一步，使用預訓練的ResNeXt101網(wǎng)絡用于多級特征提取，目的是獲得各種級別的特征。

第二步，在網(wǎng)絡最后嵌入四層LCFI模塊，目的是進行各級別大視場內(nèi)上下文的特征學習。

第三步，將其中三個LCFI模塊的輸出通過注意模塊（Attention Module）進行連接和融合，目的是生成大視場內(nèi)上下文的高級特征。

第四步，從這些高級特征中學習Attention Map，目的是引導大視場內(nèi)上下文的低級特征（例如第一個LCFI模塊的輸出），以將更多注意力集中在玻璃區(qū)域。

最后，通過級聯(lián)和注意力機制，融合高級與低級特征，目的是生成最終的玻璃特征圖。

GDNet的創(chuàng)新之處在于，它設計的LCFI模塊采用空間可分離卷積，更好地獲取了圖像中有關玻璃的特征。

雖然此前也有關于玻璃的目標檢測研究，但基本集中在玻璃杯、器皿這樣的小型玻璃物體上，檢測方法也多從物體的形狀入手。

這次研究通過玻璃本身的特征，設計了具普適性的玻璃檢測網(wǎng)絡，能有效防止自動駕駛車輛對玻璃幕墻或玻璃門進行誤判，避免發(fā)生碰撞事故。

除此之外，對于機器學習中的深度預測、場景理解和去反射等技術任務，也有著重要的意義。

△?從上到下分別是深度預測、場景理解和去反射

當然，真正要讓GDNet在實際玻璃檢測中發(fā)揮能力，離不開數(shù)據(jù)集的制作。

為了使GDNet在實際應用中能發(fā)揮出更好的效果，研究者們完成了世界上第一個大規(guī)模玻璃檢測數(shù)據(jù)集GDD。

首個大規(guī)模玻璃檢測數(shù)據(jù)集GDD

在玻璃檢測數(shù)據(jù)集（Glass Detection Dataset, GDD）中，共有3916張帶玻璃的圖片，其中2980張被隨機抽出，用于網(wǎng)絡訓練，剩余936張作為測試集。

這三千多張玻璃圖片多來自浴室、辦公室、超市等地方，其中玻璃幕墻占多，其次是玻璃展示櫥窗、玻璃門、陳列柜、窗戶和玻璃護欄。

經(jīng)統(tǒng)計，玻璃通常占據(jù)整張圖像20%~80%的大小，且整體分布傾向于圖像中央，這是由玻璃使用特性所決定的。

△?GDD數(shù)據(jù)集部分圖像展示

上圖為數(shù)據(jù)集中部分圖像的展示，可以看見，圖像對玻璃和非玻璃部分進行了分割，白色區(qū)域為玻璃所在區(qū)域。

從圖例中就能看見，無論是玻璃上貼著的標簽、刮蹭的污漬，還是玻璃上透射和反射的圖像，都可能會在訓練時對網(wǎng)絡產(chǎn)生影響。

與此同時，數(shù)據(jù)集中也存在著只占圖像20%不到的邊角玻璃、或是幾乎充斥整個圖像的大玻璃塊，目的在于增加圖像的隨機性，使得神經(jīng)網(wǎng)絡具有更好的檢測效果。

檢測效果

事實上，測試也證明，無論是實際檢測效果、還是從數(shù)據(jù)分析來看，采用GDD數(shù)據(jù)集訓練后的GDNet都達到了目前研究中玻璃檢測網(wǎng)絡的最好效果。（下圖中，所展示網(wǎng)絡均已用GDD數(shù)據(jù)集進行訓練）

從下圖來看，相較于其他較前沿的神經(jīng)網(wǎng)絡，GDNet對玻璃區(qū)域的檢測準確度明顯更高。

△?與最右邊的真值相比，目前最前沿的部分網(wǎng)絡和GDNet對玻璃的檢測效果

在準確度上，相較于MirrorNet的85.07%和EGNet的85.04%，GDNet達到了87.63%的IoU。（IoU：真值與預測值交集/真值與預測值并集）

相比之下，其平均絕對誤差MAE則達到了0.063。

△?與其他神經(jīng)網(wǎng)絡相比，GDNet的各項指標均處前列

可以想見，在這樣的效果下，GDNet未來在玻璃檢測方向上還會有更進一步的發(fā)展及應用。

作者介紹

梅海洋，論文第一作者，目前在大連理工大學計算機科學與技術學院的攻讀博士，主要研究方向為圖像處理、計算機視覺與深度學習。

傳送門

論文地址
http://openaccess.thecvf.com/content_CVPR_2020/papers/Mei_Dont_Hit_Me_Glass_Detection_in_Real-World_Scenes_CVPR_2020_paper.pdf

項目地址
https://xinyangdut.github.io/mirror_glass/MirrorGlassDetection.htmlhttps://mhaiyang.github.io/CVPR2020_GDNet/index.html