最新爆火3D生成模型，清北硬核00后成團再出擊丨開源

西風 發自 凹非寺

量子位 | 公眾號 QbitAI

一張圖30秒高質量轉3D，3D生成圈的一個開源模型，最近成了新晉當紅炸子雞。

不僅上線即沖抱抱臉熱榜，GitHub也已攬星超1.6k。

Gradio官方也忍不住下場發推文分享，讓大伙兒瞧瞧這個算不算是目前最好的圖像轉3D模型：

重點是該模型，背后的團隊，還是一支來自清北的00后年輕初創團隊。

CEO畢業于北大計算機系，NOI WC金牌、最佳女選手得主；CTO來自清華姚班；不少成員還是CG Artist，擅長利用CG進行藝術創作，COO就是北大藝術史論與工商管理雙學位；團隊成立一年內就順利完成了三輪融資……

量子位還打聽到，基于該模型打造的產品還即將上線一波新功能：一張圖生成3D全景圖，一鍵將視頻人物替換為生成角色。

這次走紅，或許只是這支明星團隊的開始。

一張圖30秒轉3D

細心的家人們可能已經發現了，開頭提到的這個爆火的開源模型名為Unique3D，主打高保真度、高一致性、高效率單圖轉3D。

比起以往基于Score Distillation Sampling（SDS）等方法，Unique3D解決了模型生成需要長時間優化，幾何質量差，存在不一致性的問題。

而且Unique3D也優化了基于多視圖擴散模型方法受限于局部不一致性和生成分辨率，難以產生精細的紋理和復雜的幾何細節的問題。

Unique3D一上線，團隊就開源了使用大型開源3D數據集Objaverse訓練出的模型版本，還放出了Demo給大伙兒玩。

網友玩過后，一致認為Unique3D的諸多表現都很不錯。

胳膊、腿、手腕都做的很好：

這位網友還為生成好的3D模型搭入骨架，解鎖高階玩法：

搭配其他工具，在Blender中組建3D動畫也可以：

有網友表示，生成的Mesh視圖質量很高：

看到這，量子位也忍不住上手體驗了一番。

Demo界面很簡潔，只需要上傳一張圖片，然后點擊Generate 3D就可以了，也可以簡單調整參數Seed，勾選去除背景：

緊接著，生成速度非?？欤啾却饲澳Ｐ托枰獛追昼姷纳蓵r間，Unique3D幾十秒就能將一張圖“啪”的一下轉3D：

隨手用GPT-4生成一張小怪獸的圖，然后上傳：

你別說，感覺3D生成后的可愛度直線上升，關鍵Unique3D生成的紋理和質感都和原圖高度一致。

而這一特點也是最為網友所稱贊的。

不少網友指出，Unique3D生成的質感很真實，甚至比Stability AI和Tripo AI合作推出的單圖轉3D模型TripoSR還要好。

在抱抱臉的3D競技場中，Unique3D目前排名第二，和第一名的InstantMesh差距也很小，票差24：

不過，Unique3D的生成也會有一些瑕疵，比如有時背面分辨率不高，會有一些小斑點等。

生成企鵝效果很好，生成梯子結構就亂了：

對此開發團隊表示會繼續優化算法，并且有個小Tip：上傳的圖最好是標準的正面圖、無遮擋的那種。

此外，團隊還表示最近將加入更多視角的參考，提升對不同視角的兼容度，由于一直在優化算法，模型穩定性可能會受干擾。

說回來，Unique3D是如何將一張圖高質量轉成3D模型的？

Unique3D里面有什么？

用一張圖展現Unique3D的Pipeline是這樣嬸兒的：

整個流程分三個主要階段：多視圖生成、高分辨率上采樣、3D Mesh重建。

具體來說，輸入一張圖，首先微調版Stable Diffusion模型會根據這張圖生成四個256×256分辨率的正交多視圖圖像，也就是從單一視角推斷出物體的其它視角。

然后，通過一個高分辨率上采樣過程，使用ControlNet-Tile將圖像分辨率提升至512×512，再用Real-ESRGAN進一步提升至2048×2048，同時利用專門的法線擴散模型生成對應的高分辨率法線圖。

利用多級上采樣策略，逐步提高圖像分辨率，可以較好地保證生成細節。

接著，團隊提出了ISOMER算法，直接基于Mesh進行3D重建，計算負載與空間分辨率的平方成正比。

其中包括以下步驟：

• 利用前后視圖直接快速估計初始Mesh；
• 通過300次迭代的SGD優化進行粗到細的Mesh優化，引入擴張正則化，避免表面坍塌問題；
• 利用ExplicitTarget技術為每個頂點分配唯一的優化目標，處理多視圖不一致性；
• 基于多視圖圖像對精確的幾何結構進行著色，使用高效的平滑著色算法完成不可見區域的著色。

由此，從性能上講，輸入一張圖在RTX4090 GPU上僅需30秒即可完成3D轉換，生成的3D Mesh模型在幾何精度和紋理細節上都顯著優于基準。

以下是定性比較以及細節對比：

所以，Unique3D背后的這個年輕的學霸團隊又是哪個？

“年輕人就要玩新模態”

Unique3D背后團隊是AVAR AI。

有些人對其可能并不陌生，畢竟自2021年成立以來，AVAR AI就在3D這條賽道上多次嶄露頭角，成立一年后成功融資三輪。

創始人兼CEO胡雅婷，畢業于北大計算機系，曾在谷歌、阿里、字節做過算法工程師。

技術合伙人兼CTO吳凱路，來自清華姚班，在叉院做3D生成和NeRF相關研究，曾提出了FSD（text-to-3d流分數蒸餾）和MemSR（高效訓練超分辨率模型）等工作。

在此之前，胡雅婷和吳凱路均拿過NOI全國信息學奧林匹克競賽WC金牌、金牌，吳凱路是國家集訓隊，胡雅婷是最佳女選手。

COO任靳珊，本科畢業于北大，獲藝術史論與工商管理雙學位，碩士畢業于芝加哥大學，曾在海內外美術館、騰訊藝術等有過策展商務文創經歷。

總之，一句話形容AVAR AI團隊：全員平均00后學霸。

CEO胡雅婷還透露，團隊目前嚴格意義上的全職員工很少，有一半是深度合作的AI研究員，還有一半是3D藝術家。

其本人在參加信息學算法競賽前也非常喜歡藝術創作，算法在她看來也是一個非常有創造性的過程：

之所以想創業做圖形學，也是因為很喜歡皮克斯，皮克斯就是一個典型的技術+藝術團隊。

基于此，AVAR AI的定位也更專注于創作方向。

胡雅婷直言并不想賣3D生成的技術，所以選擇直接開源Unique3D：

我們比較關注3D應用場景以及它的下一步，希望可以通過比如做動畫以及新的交互方式實現4D，這樣就可以讓創作者創作出真正有表達力的IP或是數字媒體內容。

所以這個過程中可能競爭力并不是技術本身，我們接下來也會重點關注作品的藝術性和IP的潛力，以及做好創作者社群。

在她看來，形成這種“創作者經濟”會是AVAR AI區別于API工具等模式的壁壘，像是Midjourney就形成了一套創作者生態和網絡效應。

而AVAR AI此前在AI生成3D內容方面的工作，也為團隊新的3D生成項目打下了基礎。

在Unique3D之前，AVAR AI的一條業務主線是專注于元宇宙數字品牌，與動畫影視公司、知名IP、互聯網大廠等都有過合作，例如曾和阿里合作推出3D星球生成器、與奧飛娛樂合作打造IP形象。

面向年輕用戶，AVAR AI推出的應用也更加多元，AR、VR、XR方面也有涉獵。

對于新研發的Unique3D模型，團隊除開源了用開源數據集訓練的模型外，還用更高質量的商用私有數據對模型進行了工程優化并上線到產品網頁端——Aiuni AI。

上面提到的更多更具表達力的3D應用場景，也在部署中，打開Aiuni AI主頁就能看到即將上線的新功能。

例如3D world，一句話、一張圖就能生成一個360度全景，而且不只是一張全景圖，用戶可以導出Mesh，也就是整個場景的3D文件。

此外，還有一個叫做DreamCamera功能也將會逐步推出，基于團隊的另一項研究Camera Dreamer打造，可以一鍵將視頻人物替換為生成角色，同時Aiuni AI還兼容VisionPro等MR的渲染環境：

在被量子位問到作為一名年輕的科技創業者，有何見解可以分享給其他有志于進入科技和創業領域的年輕人，Aiuni AI CEO胡雅婷給出了這樣的回答：

我覺得年輕人就一定要做新模態。比如AIGC創業，文本、圖像、視頻，大廠都已經入局了，造了很多通用大模型。而年輕人就得去找一些新的模態，要有新的數據和算法，并且有增量的或是下一代的應用場景。

你覺得Unique3D、Aiuni AI的表現如何？感興趣的家人們可以玩起來了～

Github鏈接：https://github.com/AiuniAI/Unique3D
Huggingface Demo：https://huggingface.co/spaces/Wuvin/Unique3D
項目主頁：https://wukailu.github.io/Unique3D/
論文鏈接：https://arxiv.org/pdf/2405.20343

參考鏈接：
[1]https://x.com/NegiTurkey/status/1804750164680483003
[2]https://x.com/fffiloni/status/1799400868074459574
[3]https://x.com/dylan_ebert_/status/1800959099774943470
[4]https://x.com/hAru_mAki_ch/status/1797958793948721178
[5]https://x.com/Frezoaiart/status/1801135447076462608