紙質(zhì)說明書秒變3D動(dòng)畫，斯坦福大學(xué)吳佳俊最新研究，入選ECCV 2022
樂高發(fā)燒友看過來
羿閣 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
有沒有空間感差的小伙伴，每次拿到樂高說明書都不知如何下手？
這回，可以動(dòng)的樂高說明書來了！
清華姚班校友、斯坦福大學(xué)助理教授吳佳俊，帶領(lǐng)團(tuán)隊(duì)研發(fā)了一項(xiàng)能把紙上的說明書轉(zhuǎn)化為3D動(dòng)畫的技術(shù)，目前該論文已入選2022年計(jì)算機(jī)視覺頂會(huì)ECCV。
看完效果圖，有網(wǎng)友直呼：這對(duì)所有年齡段的樂高愛好者都大有幫助！
3D動(dòng)畫說明書
盡管樂高的說明書都是由專業(yè)設(shè)計(jì)師編寫的，但對(duì)于想象力差的人，不得不說，還是3D動(dòng)畫更香。
這一步轉(zhuǎn)化看上去容易，其實(shí)背后隱藏著兩個(gè)技術(shù)上的難題。
第一個(gè)難題是如何將紙上的2D圖像投影成3D動(dòng)畫。
研究團(tuán)隊(duì)要做的，是將任務(wù)分解為一系列可以順利、高效執(zhí)行的短步驟，通過建立一個(gè)模型，將說明書上的圖像轉(zhuǎn)換為機(jī)器可解釋的算法，以簡(jiǎn)化機(jī)器學(xué)習(xí)的任務(wù)。
正如上圖所示，要想把圖a轉(zhuǎn)化為圖c，需要提取說明書中的每一個(gè)零件的圖像位置，以便搭建最終的成品。
研究面對(duì)的第二個(gè)挑戰(zhàn)是，樂高積木的形狀實(shí)在是太多變了。
雖然很多基礎(chǔ)配件形狀差不多，但就像圖中的吉他頭一樣，樂高也有不少靈活又復(fù)雜的配件。而且，這些配件可能產(chǎn)生的不同組合也大大增加了機(jī)器解讀的難度：每一個(gè)搭建步驟都會(huì)形成一個(gè)新的不可知的圖像。
為了解決這兩個(gè)挑戰(zhàn)，研究團(tuán)隊(duì)提出了一種新的基于機(jī)器學(xué)習(xí)的框架：手動(dòng)執(zhí)行計(jì)劃網(wǎng)絡(luò)(manual-To-executable-Plan Network, MEPNet)。
其核心思想是將基于神經(jīng)網(wǎng)絡(luò)的二維關(guān)鍵點(diǎn)檢測(cè)方法與2D-3D匹配算法相結(jié)合，實(shí)現(xiàn)對(duì)不可見的3D對(duì)象的高精度預(yù)測(cè)。
MEPNet的運(yùn)行有兩個(gè)階段。第一階段要做的，是將基礎(chǔ)形狀和新零件的3D模型、目標(biāo)形狀的2D圖像作為輸入信息，為每個(gè)零件預(yù)測(cè)一組2D關(guān)鍵點(diǎn)、旋轉(zhuǎn)角度和掩碼。
在第二階段中，通過尋找基礎(chǔ)形狀和新零件之間的可能聯(lián)系，再將第一階段預(yù)測(cè)的2D關(guān)鍵點(diǎn)反向投影到3D圖像中。
值得一提的是，這個(gè)方法在訓(xùn)練時(shí)不需要任何ground truth圖像。
另外，MEPNet的數(shù)據(jù)集表現(xiàn)優(yōu)于其他現(xiàn)有方法。與基于端到端的學(xué)習(xí)方法相比，MEPNet保持了基于機(jī)器學(xué)習(xí)的模型效率，并可以被更好地推廣到生成未知的3D對(duì)象上。
最值得注意的是，MEPNet能夠利用合成數(shù)據(jù)進(jìn)行單獨(dú)訓(xùn)練，從而應(yīng)用到真實(shí)的生活場(chǎng)景中。
目前，所有代碼和數(shù)據(jù)已開源，感興趣的小伙伴可以關(guān)注一下。
作者介紹
該篇論文來自斯坦福大學(xué)吳佳俊團(tuán)隊(duì)。作者還包括：Ruocheng Wang、Yunzhi Zhang，麻省理工大學(xué)的Jiayuan Mao以及Autodesk AI Lab的Chin-Yi Cheng。
吳佳俊，現(xiàn)任斯坦福大學(xué)助理教授，隸屬于斯坦福視覺與學(xué)習(xí)實(shí)驗(yàn)室 (SVL)和斯坦福人工智能實(shí)驗(yàn)室 (SAIL)。在麻省理工學(xué)院完成博士學(xué)位，本科畢業(yè)于清華大學(xué)姚班，曾被譽(yù)為“清華十大學(xué)神之一”。
論文第一作者Ruocheng Wang，碩士畢業(yè)于斯坦福大學(xué)計(jì)算機(jī)科學(xué)專業(yè)，是吳佳俊門下的學(xué)生。本科畢業(yè)于浙江大學(xué)計(jì)算機(jī)專業(yè)，還在加州大學(xué)洛杉磯分校與Adnan Darwiche教授一起工作過一段時(shí)間。
One More Thing
雖然整篇論文都在以樂高為例，但作者也在論文中提到，其實(shí)這項(xiàng)技術(shù)還能應(yīng)用到其他類型的組裝說明書上。
好多“苦安裝久矣”的網(wǎng)友就號(hào)召趕緊推出宜家版：
不過，在一片歡呼聲中，也有網(wǎng)友提出了不同的聲音：
我不知道這是驚喜還是毀了我玩樂高的樂趣。
對(duì)此，你怎么看？你是喜歡看著說明書拼樂高，還是自己發(fā)揮呢？
參考鏈接：
[1]https://cs.stanford.edu/~rcwang/projects/lego_manual/
[2]https://twitter.com/_akhaliq/status/1552118469214314496
[3]https://arxiv.org/abs/2207.12572
[4]https://jiajunwu.com/
相關(guān)閱讀
圖片生成仿真！這個(gè)AI讓3D資產(chǎn)「開箱即用」，直接賦能機(jī)器人訓(xùn)練
一張照片，就能生成可直接用于仿真的3D資產(chǎn)
小K直播姬今日公測(cè)，開啟虛擬主播免費(fèi)3D升級(jí)計(jì)劃
小K直播姬目前提供了窗口、掛件、透明推流等直播模式，角色模型提供自定義捏人、專屬模型、公用模型、導(dǎo)入模型等類別，并且還擁有自定義場(chǎng)景和創(chuàng)新的手勢(shì)特效，即將開放男性角色捏人和連麥互動(dòng)玩法。
站面.png)
