4090玩轉(zhuǎn)大場景幾何重建，RGB渲染和幾何精度達SOTA｜上海AI Lab&西工大新研究
提出基于并行化混合層次三維表征的可擴展架構(gòu)
CityGS-X團隊 投稿
量子位 | 公眾號 QbitAI
僅用4090就能實現(xiàn)大規(guī)模城市場景重建！
高效幾何重建新架構(gòu)CityGS-X來了，通過一種新型并行化混合分層三維表征架構(gòu)（PH2-3D）的可擴展系統(tǒng)，突破了傳統(tǒng)三維重建在算力消耗和幾何精度上的限制。
算力瓶頸無處不在，當(dāng)前3D高斯?jié)姙R技術(shù)雖取得顯著進展，卻仍面臨三大核心挑戰(zhàn)：處理速度緩慢、計算成本高昂、幾何精度有限。
來自上海AI Lab和西工大的研究團隊認(rèn)為，這些問題的根源在于其非結(jié)構(gòu)化設(shè)計本質(zhì)與并行化機制的缺失。
這就引出一個關(guān)鍵命題：能否構(gòu)建一個兼具高效性、擴展性和精確性的新一代幾何重建框架？
由此，團隊提出了CityGS-X，研究的主要貢獻在于：
- 提出并行化混合層次三維表征（PH2-3D）的可擴展架構(gòu)，摒棄了傳統(tǒng)大場景分塊算法造成的訓(xùn)練冗余，相比現(xiàn)有的SOTA幾何重建方法，訓(xùn)練速度提升了一倍。
- 提出多任務(wù)批渲染框架下的動態(tài)分配錨點的并行機制，在訓(xùn)練階段以及渲染階段可以利用多張低端卡平替以及超越目前單張高端顯卡，對于5000+圖的大場景（Matrixcity），只需4卡4090即可實現(xiàn)。
- 提出在模態(tài)批渲染框架下的漸進式RGB-深度-法向聯(lián)合訓(xùn)練方法，在RGB渲染和幾何精度上都達到同類任務(wù)中的SOTA。
以下是更多細節(jié)。
CityGS-X的構(gòu)建
CityGS-X提出基于并行化混合層次三維表征（PH2-3D）的可擴展架構(gòu)，摒棄傳統(tǒng)繁瑣的合并-分區(qū)流程，首創(chuàng)批處理級多任務(wù)渲染機制；
開發(fā)動態(tài)多細節(jié)層次體素分配策略，實現(xiàn)顯存占用與計算效率的平衡；
設(shè)計漸進式RGB-深度-法線聯(lián)合訓(xùn)練方案，通過多視角約束與深度先驗的協(xié)同優(yōu)化，顯著提升幾何一致性。
PH2-3D的設(shè)計
批處理級多任務(wù)渲染機制
團隊采用批處理級多任務(wù)渲染機制，首先將批量渲染圖像分割為16×16像素的圖塊，并基于Grendal-GS的自適應(yīng)負(fù)載均衡策略分配到不同GPU。
在每塊渲染任務(wù)中，提出視角相關(guān)高斯遷移策略：并行搜索所有GPU上各LoD層級的相交體素，預(yù)測對應(yīng)高斯屬性（如公式所示），并遷移至任務(wù)分配GPU。
隨后各區(qū)塊遵循經(jīng)典基于瓦片的光柵化并行渲染：
其中N為遷移高斯點數(shù)量，π(·)為遷移高斯重排序函數(shù)。
同時基于PGSR策略生成當(dāng)前視角法線圖：
批處理級連續(xù)性漸進訓(xùn)練
作者提出三階段漸進式訓(xùn)練策略：
階段一：批處理級RGB訓(xùn)練
階段二：增強深度先驗訓(xùn)練
基于最新單目深度估計器具有平滑連續(xù)的表面預(yù)測特性，作者提出改進方案：
階段三：批處理級幾何訓(xùn)練
實驗結(jié)果
以下是與主流方法的渲染指標(biāo)對比（本文方法均使用4卡4090）：
深度圖可視化結(jié)果：
對比試驗中，團隊在RGB渲染、深度渲染與其它方法對比，實驗表明CityGS-X在RGB渲染最優(yōu)的情況下，深度圖也最準(zhǔn)確，具有更少的浮點以及地面的空洞。
同時對于法線圖渲染，CityGS-X也展現(xiàn)出更準(zhǔn)確的細節(jié)。
法線圖可視化:
與目前的SOTA方法相比，CityGS-X在整體的mesh可視化上都有顯著提升。
texture和mesh可視化對比：
時間對比實驗結(jié)果：
F1分?jǐn)?shù)對比實驗結(jié)果：
在MatriCity數(shù)據(jù)集上進行定量對比，CityGS-X在重建精度上有顯著提升，同時在訓(xùn)練速度上也有明顯提升。
論文鏈接：https://arxiv.org/pdf/2503.23044
項目主頁：https://lifuguan.github.io/CityGS-X/
項目代碼：https://github.com/gyy456/CityGS-X
- 起底“豆包手機”：核心技術(shù)探索早已開源，GUI Agent布局近兩年，“全球首款真正的AI手機”2025-12-09
- 商湯分拆了一家AI醫(yī)療公司，半年融資10億，劍指“醫(yī)療世界模型”2025-12-02
- “豆包手機”在二手市場價格都翻倍了……2025-12-05
- OpenAI首席研究員Mark Chen長訪談：小扎親手端湯來公司挖人，氣得我們端著湯去了Meta2025-12-03
相關(guān)閱讀
頭圖-e1595310164102-300x175.png)
