李飛飛空間智能獨角獸開源底層技術！AI生成3D世界在所有設備流暢運行

夢晨 2025-06-03 14:06:20 來源：量子位

空間智能的“著色器”來了

夢晨發(fā)自凹非寺
量子位 | 公眾號 QbitAI

李飛飛空間智能創(chuàng)業(yè)公司World Labs，開源一項核心技術！

Forge渲染器，可在桌面端、低功耗移動設備、XR等所有設備上實時、流暢地渲染AI生成的3D世界。

具體來說，F(xiàn)orge是一款Web端3D高斯?jié)姙R渲染器，無縫集成three.js，實現(xiàn)完全動態(tài)和可編程的高斯?jié)姙R。

Forge底層為GPU優(yōu)化設計，其地位相當于傳統(tǒng)3D圖形領域的基礎組件“著色器”。

Forge只需極少的代碼即可啟動和運行。它支持多個splat對象、多個攝像頭以及實時動畫/編輯。

World Labs聯(lián)創(chuàng)、NeRF作者Ben Mildenhall稱這項技術“讓開發(fā)者像處理三角形網(wǎng)格一樣輕松處理AI生成的3D世界。”

李飛飛表示，“它能做到的事情簡直令人難以置信”。

在所有設備上渲染3D AI世界

3D高斯濺射 (3D Gaussian Splatting) 已成為生成式人工智能和3D重建領域的主流方案。

這項技術通過將3D場景和對象表示為微小的高斯形狀斑點（又稱Spat）的集合，機器學習技術可用于創(chuàng)建可實時渲染的細致逼真的3D內(nèi)容。

然而，3D高斯濺射（3DGS）是一項相對較新的技術，許多傳統(tǒng)的基于三角形的3D網(wǎng)格渲染引擎尚無法使用，而網(wǎng)絡上最流行的3D圖形庫three.js無法直接渲染3DGS。

雖然有一些庫可以在網(wǎng)絡上渲染3DGS，但它們各自都存在不同的限制，如此只能渲染一個 3DGS 對象、3DGS對象之間的遮擋不正確、無法動態(tài)修改對象、需要 WebGPU 或渲染速度慢/卡頓。

Forge被設計為一款可編程的3DGS引擎，能夠以前所未有的方式控制3DGS的生成、動畫以及在場景中的渲染。

與現(xiàn)代3D圖形引擎中的著色器圖形系統(tǒng)類似，F(xiàn)orge允許將函數(shù)塊（稱為Dyno）組合成計算圖形，可以程序化地生成、任意修改Spalt，或執(zhí)行能想到的任何其他計算，并轉換為GLSL語言在GPU上運行。

官網(wǎng)用一個菜單場景，很好地展示了Forge渲染器的實時交互能力。

實時高斯?jié)姙R渲染的最大挑戰(zhàn)之一是對每個splat進行排序，這被稱為畫家算法（Painter’s algorithm），也是Forge系統(tǒng)設計的核心。

管理此過程的關鍵組件是ForgeRenderer，它遍歷并編譯Three.js場景中所有 splat 的完整列表。

每個ForgeRenderer都有一個默認的ForgeViewpoint ，它會從GPU讀取所有splat視角列表，然后使用高效的bucket sort算法確定繪制順序，并通過SplatWorker在后臺工作線程中運行。

通過生成額外的ForgeViewpoint對象，支持創(chuàng)建多視角同時渲染。

Forge還利用這個機會在GPU上的每個splat上運行用戶可編程的數(shù)據(jù)流水線。標準流水線提供高級功能，例如應用剛體變換、調(diào)整 RGB/不透明度和球諧函數(shù)，以及顏色編輯和擾動以及雙四元數(shù)骨骼動畫系統(tǒng)。

標準流水線還允許通過dyno著色器圖形系統(tǒng)注入任意代碼來修改每個splat。

Forge支持完全控制編寫任何以編程方式計算splat屬性（中心、比例、四元數(shù)、RGBA）的函數(shù)。這些屬性可以是無狀態(tài)的，也可以依賴于splat文件、紋理和其他全局參數(shù)的復雜組合進行實時程序生成，并且可以隨時間變化以生成實時動畫。

World Labs成立以來完成超過2.3億美元融資，投資方包括a16z、英特爾、AMD等。

他們的目標是將多模態(tài)AI從二維像素平面提升到完整的三維世界，稱將于2025年推出首款產(chǎn)品。

另外，World Labs曾透露還計劃打造一些對藝術家、設計師、開發(fā)者、電影制作人和工程師等專業(yè)人士有用的工具，目標客戶涵蓋從視頻游戲開發(fā)商到電影工作室等各個領域。

從這一點看來，F(xiàn)orge渲染器更像是開發(fā)者工具中的一部分，真正的產(chǎn)品還在后面。

Forge主頁
https://forge.dev

參考鏈接：
[1]https://x.com/BenMildenhall/status/1929618052813054294