北大圖靈班本科生帶來動畫CG福音，「最懂骨骼的卷積網絡」，無需配對樣本實現(xiàn)動作遷移 | SIGGRAPH

十三 2020-05-27 12:48:58 來源：量子位

魚羊 金磊 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

我有一個動畫形象，我有一套人體動作，可想要把它們組合成真正的動畫，可不是 1+1 這么簡單。

別看這體型迥異的三位動作整齊劃一，支撐動畫的骨架卻差異甚大。

這也就意味著，想給新的動畫角色套上已經做好的動作，依然需要對骨骼進行重構，費時費力。

好消息是，來自北大和北京電影學院的最新研究，正在化繁為簡。

根據這項研究結果，從左到右，一個動作遷移深度學習框架就能解決，并且，不需要任何配對示例。

也就是說，現(xiàn)在，同一個動作可以被更輕松地應用于不同的形象了。

這篇論文中了計算機圖形學頂會SIGGRAPH，代碼現(xiàn)已開源。

論文一作，分別是北京電影學院研究科學家Kfir Aberman，和北大圖靈班大三本科生李沛卓。

對于這一成果，論文通訊作者陳寶權教授詼諧地表示：這是最懂骨骼的卷積網絡。

而且據說，論文和代碼發(fā)布之后，就有相關工業(yè)界公司來跟研究團隊接洽了。

所以這究竟是怎樣一個“骨骼驚奇”的神經網絡？

最懂骨骼的卷積網絡

論文的主要技術貢獻，是提出了全新的骨骼卷積和骨骼池化算子。

這些算子都是骨骼感知的，也就是說，它們能顯式地考慮骨骼的層次結構和關節(jié)的鄰近關系。

據作者李沛卓介紹，由于骨骼不具有和圖片（image）一樣規(guī)整的結構，但又擁有相對于一般的圖（graph）更特殊的結構，新算子的設計亦是整個研究過程中最棘手的環(huán)節(jié)。

研究人員使用靜態(tài)骨骼位置+動態(tài)關節(jié)旋轉來表示骨骼上的動作，并把不同骨骼之間的動作遷移視作無配對的域轉移任務，將動態(tài)靜態(tài)部分分別處理，構建了用于同胚骨骼之間無需配對示例的動作遷移深度學習框架。

框架結構類似于GAN，包含兩對自動編碼器構成的生成器，在共同的隱空間中實現(xiàn)不同骨骼之間的動作遷移。還引入了判別器，以提高生成結果的質量。

在這其中，研究人員利用骨骼卷積算子來充分利用骨骼的拓撲結構。

具體而言，在對一個關節(jié)及其對應的單個骨骼做卷積時，將其所有距離為 d 的鄰接骨骼對應的通道提取出來。同時將靜態(tài)部分和動態(tài)部分的通道進行拼接，進行時間軸上的1維卷積。

骨骼池化，則是將不同拓撲不同的同胚骨骼合并到一個公共基本骨骼的過程。

研究人員介紹，這是不同骨骼的自動編碼器能達到統(tǒng)一隱空間的基石。

效果更“服帖”

那么，“骨骼如此驚奇”的神經網絡，效果如何？

接下來，我們就一起看下與其它方法比較的結果。

這個運動處理框架，是在Pytorch中實現(xiàn)，實驗是在配備了NVIDIA GeForce GTX Titan Xp GPU(12 GB)和Intel Core i7-695X/3.0GHz CPU(16 GB RAM)的PC上進行的。

在做測試時，編碼器的輸入是源動作，而解碼器的輸入，是編碼器輸出的隱變量和目標骨骼信息。

而后，根據目標骨骼的拓撲結構選擇相應的解碼器，得到遷移后的動作。

主要做比較的方法包括：CycleGAN和NKN。

而做比較實驗的情況也分為兩種：

• 只使用一個自動編碼器，但使用不同的骨骼信息，進行同拓撲骨骼之間的動作遷移。
• 使用完整的兩個自動編碼器，實現(xiàn)不同拓撲結構之間的動作遷移。

首先，來看下第一個情況下的比較：同一拓撲結構的源骨骼、目標骨骼。

下圖從左至右，依次表示輸入、CycleGAN、NKN和研究人員的方法。

不難看出，根據輸入的這段鬼步舞，研究人員方法的“貼合度”更高。

另外，是第二種難度更高的情況：不同拓撲結構的源骨骼、目標骨骼。

同樣的，從左至右依次為：輸入、CycleGAN、NKN和研究人員的方法。

在這種情況下，在小人兒“踉蹌”和“打斗”動作中，該方法也完勝CycleGAN和NKN。

看完定性比較，再來看下定量比較。

不難看出，在兩種情況下，都達到了最優(yōu)。

北大大三本科生一作

這篇SIGGRAPH論文，有兩位共同一作。

其中一位，是北大圖靈班大三本科生李沛卓。

李沛卓畢業(yè)于重慶一中，2016年入選重慶信息學競賽省隊，2017年以高考總分687分成成績，北大信息科學與技術學院錄取。

目前，李沛卓師從陳寶權教授，研究方向是深度學習和計算機圖形學，正在北京大學視覺計算與學習實驗室和北京電影學院未來影像高精尖創(chuàng)新中心（AICFVE）實習。

另一位，是北京電影學院AICFVE的研究科學家Kfir Aberman。

他博士畢業(yè)于以色列特拉維夫大學，現(xiàn)在從事深度學習和計算機圖形學研究。在今年的SIGGRAPH 2020上，他有兩篇一作論文入選。

另外，據論文通訊作者陳寶權教授透露，今年的SIGGRAPH上，“亮相”的北大本科生還不止李同學一位：

李沛卓（圖靈班17級）、翁伊嘉（圖靈班17級）、倪星宇（圖靈班16級）、蔣鴻達（博士19級）四位同學與國內外學者合作……相關成果將發(fā)表在7月份的 SIGGRAPH 會議。

因為疫情，今年的 SIGGRAPH 會議改為在線，第一次“出道”的四位同學遺憾不能現(xiàn)場享受傳統(tǒng)的視覺盛宴。基于 SIGGRAPH 的創(chuàng)意基因，這次虛擬會議更值得期待。

而作為一名本科生，拿到頂會論文是相當不容易的事情，在我們專訪李沛卓時，他表示：

作為一個大三學生能收獲一篇SIGGRAPH是很幸運的。

一方面有我自己努力的成果，但更重要的是我們團隊中教授以及學長的幫助指引和付出。

我對圖形學本來就特別感興趣，能收獲這篇論文更加鼓勵了我繼續(xù)這方面的研究。

后生可畏，后生可畏啊。

最后，也祝愿幾位同學，在科研的道路上再創(chuàng)佳績~

傳送門在此：

項目地址：
https://deepmotionediting.github.io/retargeting
https://github.com/DeepMotionEditing/deep-motion-editing

中文版論文：https://mp.weixin.qq.com/s/Af-1RIIuTeVUcl54ixRypA