英偉達(dá)「一句話生成3D模型」碾壓谷歌：分辨率清晰8倍，速度快2倍，編輯文本還可直接修改
40分鐘之內(nèi)即可完成一次渲染
豐色 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
一句話生成3D模型，英偉達(dá)也來“秀肌肉”了～
來看它最新?lián)v鼓出的Magic3D?AI，效果是這樣兒的。
輸入“坐在睡蓮上的藍(lán)色箭毒蛙”，就能得到這樣一個細(xì)節(jié)豐富的3D模型：
“擺滿了水果的銀盤”也難不倒它：
還有諸如“鳥瞰角度的城堡”、“用壽司做的汽車”、“裝著蛋的鳥巢”、“用垃圾袋做的裙子”……
精準(zhǔn)程度可見一斑。
除了這個主要本領(lǐng)，它還可以通過編輯文本完成模型的修改：
或者在輸入中攜帶一些圖片，最終成果就可以保留圖中的風(fēng)格或者主要“人物”。
不知道這把有沒有打到你的心巴上？
反正建模師看了都要喊失業(yè)了……
如何做到？
據(jù)介紹，Magic3D快速、高質(zhì)量地得到結(jié)果所采用的策略是“從粗到細(xì)”，一共經(jīng)過兩階段：
低分辨率優(yōu)化和高分辨率優(yōu)化。
它使用eDiff-l作為模型的低分辨率文本到圖像擴散先驗（diffusion prior）。
首先，第一階段，采用英偉達(dá)今年推出的3D重建模型Instant NGP，并對其優(yōu)化，生成初始3D模型。
具體來說，就是通過重復(fù)采樣和渲染低分辨率圖像，計算出SDS損失，讓Instant NGP給出結(jié)果。
注：SDS全稱得分蒸餾采樣（Score Distillation Sampling），是谷歌提出的一種新的采樣方法，它無需對擴散模型進(jìn)行反向傳播更新。
這步完成后，就使用DMTet提取出初始3D mesh，作為第二階段的輸入。
第二階段采用高分辨率文本到圖像潛（latent）擴散先驗。
還是使用同樣的方法，對高分辨率圖像進(jìn)行采樣和渲染，并使用相同的步驟進(jìn)行更新，得到最終結(jié)果。
唯一的不同，就是本階段的操作都是在第一階段得出的初始“糙”模型上進(jìn)行的。
比DreamFusion分辨率高8倍，速度快2倍
關(guān)注這一領(lǐng)域的朋友知道，一句話生成3D模型的AI中，目前最受關(guān)注的當(dāng)屬谷歌今年9月剛發(fā)布的DreamFusion。
它通過一個預(yù)先訓(xùn)練的二維文本到圖像擴散模型來完成最終的文本到三維合成，效果驚艷。
那么，英偉達(dá)剛推出的這個Magic3D，與之相比如何？
經(jīng)實驗對比發(fā)現(xiàn)，后來者顯然更勝一籌，主要表現(xiàn)在分辨率和速度上：
Magic3D的分辨率比DreamFusion高8倍，速度快2倍——只需在40分鐘之內(nèi)即可完成一次渲染。
而在具體效果上，Magic3D的生成結(jié)果也更細(xì)節(jié)一些，比如下面的“仙人掌”、“房子”和“草莓”等（左為Magic3D，右為DreamFusion）。
不過，遺憾的是，Magic3D還并未像DreamFusion一樣已開源。
關(guān)于作者
一共有10位。
前5位都具有同等貢獻(xiàn)，包括：
現(xiàn)英偉達(dá)研究科學(xué)家、博士畢業(yè)于CMU機器人專業(yè)的Lin Chen-Hsuan，他曾在Facebook人工智能研究部和Adobe實習(xí)；
正在多倫多大學(xué)讀博士的Gao Jun，北大計算機本科畢業(yè)；
正在多倫多讀博士的Zeng Xiaohui，香港科技大學(xué)畢業(yè)；
以及同樣來自該大學(xué)的Towaki Takikawa；
最后是正在康奈爾大學(xué)讀博士的唐路明，清華大學(xué)物理和數(shù)學(xué)專業(yè)本科畢業(yè)。
論文地址：
https://arxiv.org/abs/2211.10440
項目主頁：
https://deepimagination.cc/Magic3D/
參考鏈接：
https://twitter.com/_akhaliq/status/1594505474774278147?s=46&t=Dc0f1ExmRsdk_PHz2JX-IA
- 北大開源最強aiXcoder-7B代碼大模型！聚焦真實開發(fā)場景，專為企業(yè)私有部署設(shè)計2024-04-09
- 剛剛，圖靈獎揭曉！史上首位數(shù)學(xué)和計算機最高獎“雙料王”出現(xiàn)了2024-04-10
- 8.3K Stars!《多模態(tài)大語言模型綜述》重大升級2024-04-10
- 谷歌最強大模型免費開放了！長音頻理解功能獨一份，100萬上下文敞開用2024-04-10
相關(guān)閱讀
英偉達(dá)對ARM、Linux開放光線追蹤，SDK已就位，網(wǎng)友：switch也能跑光追的節(jié)奏？
英偉達(dá)：將先進(jìn)的圖形技術(shù)引入基于ARM的系統(tǒng)的最新里程碑
英偉達(dá)推出通用深度研究系統(tǒng)，可接入任何LLM，支持個人定制
用戶自定義模型和策略，智能體負(fù)責(zé)實現(xiàn)
