一句話生成3D模型，但只需2D數(shù)據(jù)訓練｜谷歌&UC Berkeley

Pine 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

用2D數(shù)據(jù)訓練出來的模型，也能生成3D圖像了。

輸入簡單的文本提示，就能生成3D模型，這個“AI畫師”的技術如何？

直接看效果。

它生成的3D模型還具有密度、顏色。

并且能夠在不同的光照條件進行渲染。

不僅如此，它甚至可以把生成的多個3D模型融合到一個場景里。

更重要的是，生成的3D模型還可以導出到網格中，用建模軟件進一步加工。

這簡直就是高階版的NeRF，而這個AI畫師呢，名叫DreamFusion，是Google Research的一個最新成果。

DreamFusion名字是不是聽起來有點耳熟？

沒錯，DreamFields！前不久，還有個中國小哥基于這個模型開源了一個AI作畫程序。

而這次的DreamFusion正是在DreamFields的基礎上進化而來的。

那從DreamFields到DreamFusion，都有哪些變化，讓DreamFusion有如此巨大的飛躍？

擴散模型是關鍵

一句話來講，DreamFusion與DreamFields之間最大的不同就是計算損失的方法不同。

在最新的DreamFusion中，它用了一個新的損失計算方法來代替CLIP：通過文本到圖像的Imagen擴散模型來計算損失。

擴散模型大家今年應該都很熟悉了吧，DreamFusion由數(shù)十億圖像-文本對的擴散模型驅動，相當于一個由擴散模型優(yōu)化之后的NeRF，想不厲害都難。

不過要把擴散模型直接用來進行3D合成需要大規(guī)模的標記3D數(shù)據(jù)集和有效的3D數(shù)據(jù)去噪架構，但目前這兩個都還沒有，只能另謀出路。

因此在這項工作中，研究人員巧妙地避開這些限制，使用一個預先訓練的二維文本到圖像擴散模型來執(zhí)行文本到三維合成。

具體來說，就是用Imagen擴散模型來計算生成3D圖像過程中的損失，對3D模型進行優(yōu)化，那損失是如何計算呢？

這其中有很關鍵的一環(huán)，研究人員引入一個新的圖像采樣方法：評分蒸餾采樣?（SDS），它在參數(shù)空間而不是像素空間中進行采樣。

因為參數(shù)的限制，這種方法能夠很好的控制生成圖像的質量走向（下圖右）。

而這里，就是用評分蒸餾采樣來表示生成過程中的損失，通過不斷優(yōu)化最小化這種損失，從而輸出質量良好的3D模型。

值得一提的是，DreamFusion在生成圖像的過程中，里面的參數(shù)會經過優(yōu)化，成為擴散模型的一個訓練樣本，經過擴散模型訓練之后的參數(shù)具備多尺度特性，更利于后續(xù)的圖像生成。

除此之外，擴散模型帶來的還有很重要的一點是：不需要反向傳播，這是因為擴散模型能夠直接預測更新的方向。

網友討論

這波研究成果屬實是驚呆網友了，前腳Meta剛發(fā)布text-video，后腳谷歌這邊就發(fā)布了text-3D的模型。

（還是用2D擴散模型輸出3D圖像）

甚至有網友發(fā)問：

下一版本的高分辨率3D成果什么時候會出來？兩年嗎？

論文的一作直接在下方調侃地評論道：

兩周？

當然這個AI技術成果也免不了激起那個老生常談的話題——會不會取代人類。

不過大多數(shù)人還是抱著很樂觀的心態(tài)：

作為一個3D建模師/設計師，未來（AI）用于模型設計輔助的潛力也是難以置信的。

（小彩蛋）有網友挖出了DreamFusion的一些有趣的失敗案例：

比如說生成的這只松鼠，在它的帽衫后面又多出了一只眼睛（也怪嚇人的）。

團隊介紹

研究團隊中有三位均來自Google Research，分別為論文的一作Ben Poole，Jon Barron和Ben Mildenhall，還有一位加州大學伯克利分校的博士生。

Google Research是Google公司內部進行各種最先進技術研究的部門，他們也有自己的開源項目，在GitHub公開。

他們的口號是：我們的團隊渴望做出影響每個人的發(fā)現(xiàn)，我們的方法的核心是分享我們的研究和工具，以推動該領域的進展。

一作Ben Poole是斯坦福大學神經學博士，也是谷歌大腦的研究員，目前他的研究重點是使用生成模型改進無監(jiān)督和半監(jiān)督學習的算法。

參考鏈接：
[1]https://dreamfusion3d.github.io/index.html
[2]https://twitter.com/poolio/status/1575618598805983234