李飛飛團隊最新研究，真實場景中識別物體具體屬性，連表面紋理都識別出來了
還引入了物理場景圖和對應(yīng)的PSGNet網(wǎng)絡(luò)架構(gòu)。
白交 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
現(xiàn)在，細微到物體表面的紋理，AI都可以識別。
這就是李飛飛團隊新研究。
我們知道，卷積神經(jīng)網(wǎng)絡(luò)在識別視覺對象方面很出色，但還不能很好的識別出物體的具體屬性，比如表面形狀、紋理等。
而最近，李飛飛團隊的最新研究——Learning Physical Graph Representations from Visual Scenes，就一舉解決了這個問題。
還引入了物理場景圖（Physical Scene Graphs，PSG）和對應(yīng)的PSGNet網(wǎng)絡(luò)架構(gòu)。
PSG的概念概括了MONet/IODINE和3D-RelNet的工作思路，力求能夠在幾何上處理復(fù)雜的物體形狀和紋理。
這樣，在真實世界的視覺數(shù)據(jù)中學(xué)習，可以做到自監(jiān)督，因而不需要大量和繁瑣的場景組件標記。
具體研究是如何呢？我們一起來看看吧！
PSGNet的建構(gòu)
簡單來說，用一張圖就可以表示。
棕色方框表示PSGNet的三個階段。
首先，特征提取。采用ConvRNN從輸入中提取特征。
然后，構(gòu)建圖形，負責優(yōu)化現(xiàn)有PSG級別。
最后，用于端到端訓(xùn)練的圖形渲染。
其中，在構(gòu)建圖形這一階段，由一對可學(xué)習的模塊組成，即池化和向量化。
前者在現(xiàn)有圖節(jié)點上動態(tài)的構(gòu)建一個池化核的分區(qū)，作為學(xué)習的、成對的節(jié)點 affinities函數(shù)。
后者在與每個池化核相關(guān)聯(lián)的圖像區(qū)域及其邊界上，聚合節(jié)點統(tǒng)計，來產(chǎn)生新節(jié)點的屬性向量。這樣便可以直觀的表示出真實場景中的物體屬性。
在「圖形渲染階段」，PSG相當于通過一個解碼器。
在每個時間點將圖節(jié)點屬性，以及圖節(jié)點頂層空間配準（SR），渲染成RGB、深度、段和RGB變化圖z。
舉個例子，除開棕色方框部分，就是一個PSG的三個層次以及與其紋理（QTR）和形狀（QSR）渲染圖。
實驗結(jié)果
隨后，將模型在 TDW-Primitives、TDW-Playroom 和 Gibson 測試集上訓(xùn)練，并與最近基于CNN場景分割方法進行性能比較。
首先說一說這三個數(shù)據(jù)集，為什么要選擇這三個數(shù)據(jù)集呢？
Primitives和Playroom中的圖像由ThreeDWorld (TDW)生成。其中，Primitives是在一個簡單的3D房間中渲染的原始形狀（如球體、圓錐體和立方體）的合成數(shù)據(jù)集。
Playroom是具有復(fù)雜形狀和逼真紋理的物體的合成數(shù)據(jù)集，如動物、家具和工具，渲染為具有物體運動和碰撞的圖形。
Gibson則是由斯坦福大學(xué)校園內(nèi)部建筑物的RBG-D掃描組成。
這三個數(shù)據(jù)集都提供了用于模型監(jiān)督的RGB、深度和表面法線圖。
性能的比較結(jié)果如下：
注意的是，OP3和PSGNetM沒有在Gibson或Primitives上進行訓(xùn)練，因為它們有靜態(tài)測試集。
可以看到與其他模型相比，PSGNet表現(xiàn)出了更優(yōu)的性能。
△PSGNets的場景分解
此外，文中還通過「手動編輯」PSG頂層的節(jié)點，觀察其渲染效果，來說明PSG能夠正確的將場景表示為離散的對象及其屬性。
就像這樣。
從圖中刪除一個節(jié)點（DeleteA或者B），將它們移動到新的3D位置（MoveB和Occlude），改變形狀屬性（Scale/Rot），或者交換兩個節(jié)點的顏色（Swap RGB）。
結(jié)果，發(fā)現(xiàn)都會改變相對于原始（Full）預(yù)測的圖形渲染。
研究團隊
這篇論文的研究團隊是由斯坦福大學(xué)和麻省理工大學(xué)多個團隊共同合作完成的，其中就包括李飛飛團隊和來自MIT CSAIL的團隊。
第一作者名叫Daniel Bear，心理學(xué)系博士后研究員，來自斯坦福大學(xué)吳蔡神經(jīng)科學(xué)研究所。
你可能想問，為何研究腦科學(xué)的會跟李飛飛團隊一起合作呢？
看了這位作者的研究方向你就知道了。
他一直都在致力于研究動物是如何感知世界。
從一開始哈佛大學(xué)本科期間，就主要研究動物電信號，比如來自感官刺激的信號，如何誘導(dǎo)神經(jīng)元基因表達。
接著在哈佛大學(xué)繼續(xù)攻讀博士時，就研究化學(xué)信號，比如動物遇到的氣味分子，如何轉(zhuǎn)化為嗅覺感知。
而現(xiàn)在博士后研究期間，他就把目光轉(zhuǎn)向了采用計算模型來表示動物大腦中的表征。如果可以，給他進一步的研究提供了思路。
于是，他們就這樣交織在了一起。
吳蔡神經(jīng)科學(xué)研究所
也許有朋友會對這個研究所的名字有點陌生。
但這是斯坦福大學(xué)里以中國人命名的研究所，2018年10月，出于紀念蔡崇信、吳明華夫婦對該所慷慨捐贈，正式命名為吳蔡神經(jīng)科學(xué)研究所。
蔡崇信，大家都不陌生了。阿里巴巴合伙人，最早慧眼識珠加入馬云的阿里事業(yè)的那個人。
也是鮮有機會，其夫人也被關(guān)注到。
現(xiàn)在，他們捐贈的研究所，產(chǎn)出了新成果。
所以新論文到手，歡迎細致研讀后分享你的“讀后感”哦。
論文地址：
https://arxiv.org/abs/2006.12373
相關(guān)閱讀
NeurIPS神仙打架：李飛飛180頁PPT談視覺智能，Bengio同OpenAI員工吵架，何愷明談AI宿命論
李飛飛最新采訪：解決三維智能是根本性的。
