李飛飛空間智能獨角獸開源底層技術(shù)！AI生成3D世界在所有設(shè)備流暢運行
空間智能的“著色器”來了
夢晨 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
李飛飛空間智能創(chuàng)業(yè)公司World Labs，開源一項核心技術(shù)！
Forge渲染器，可在桌面端、低功耗移動設(shè)備、XR等所有設(shè)備上實時、流暢地渲染AI生成的3D世界。
具體來說，F(xiàn)orge是一款Web端3D高斯?jié)姙R渲染器，無縫集成three.js，實現(xiàn)完全動態(tài)和可編程的高斯?jié)姙R。
Forge底層為GPU優(yōu)化設(shè)計，其地位相當(dāng)于傳統(tǒng)3D圖形領(lǐng)域的基礎(chǔ)組件“著色器”。
Forge只需極少的代碼即可啟動和運行。它支持多個splat對象、多個攝像頭以及實時動畫/編輯。
World Labs聯(lián)創(chuàng)、NeRF作者Ben Mildenhall稱這項技術(shù)“讓開發(fā)者像處理三角形網(wǎng)格一樣輕松處理AI生成的3D世界。”
李飛飛表示，“它能做到的事情簡直令人難以置信”。
在所有設(shè)備上渲染3D AI世界
3D高斯濺射 (3D Gaussian Splatting) 已成為生成式人工智能和3D重建領(lǐng)域的主流方案。
這項技術(shù)通過將3D場景和對象表示為微小的高斯形狀斑點（又稱Spat）的集合，機(jī)器學(xué)習(xí)技術(shù)可用于創(chuàng)建可實時渲染的細(xì)致逼真的3D內(nèi)容。
然而，3D高斯濺射（3DGS）是一項相對較新的技術(shù)，許多傳統(tǒng)的基于三角形的3D網(wǎng)格渲染引擎尚無法使用，而網(wǎng)絡(luò)上最流行的3D圖形庫three.js無法直接渲染3DGS。
雖然有一些庫可以在網(wǎng)絡(luò)上渲染3DGS，但它們各自都存在不同的限制，如此只能渲染一個 3DGS 對象、3DGS對象之間的遮擋不正確、無法動態(tài)修改對象、需要 WebGPU 或渲染速度慢/卡頓。
Forge被設(shè)計為一款可編程的3DGS引擎，能夠以前所未有的方式控制3DGS的生成、動畫以及在場景中的渲染。
與現(xiàn)代3D圖形引擎中的著色器圖形系統(tǒng)類似，F(xiàn)orge允許將函數(shù)塊（稱為Dyno）組合成計算圖形，可以程序化地生成、任意修改Spalt，或執(zhí)行能想到的任何其他計算，并轉(zhuǎn)換為GLSL語言在GPU上運行。
官網(wǎng)用一個菜單場景，很好地展示了Forge渲染器的實時交互能力。
實時高斯?jié)姙R渲染的最大挑戰(zhàn)之一是對每個splat進(jìn)行排序，這被稱為畫家算法（Painter’s algorithm），也是Forge系統(tǒng)設(shè)計的核心。
管理此過程的關(guān)鍵組件是ForgeRenderer，它遍歷并編譯Three.js場景中所有 splat 的完整列表。
每個ForgeRenderer都有一個默認(rèn)的ForgeViewpoint ，它會從GPU讀取所有splat視角列表，然后使用高效的bucket sort算法確定繪制順序，并通過SplatWorker在后臺工作線程中運行。
通過生成額外的ForgeViewpoint對象，支持創(chuàng)建多視角同時渲染。
Forge還利用這個機(jī)會在GPU上的每個splat上運行用戶可編程的數(shù)據(jù)流水線。標(biāo)準(zhǔn)流水線提供高級功能，例如應(yīng)用剛體變換、調(diào)整 RGB/不透明度和球諧函數(shù)，以及顏色編輯和擾動以及雙四元數(shù)骨骼動畫系統(tǒng)。
標(biāo)準(zhǔn)流水線還允許通過dyno著色器圖形系統(tǒng)注入任意代碼來修改每個splat。
Forge支持完全控制編寫任何以編程方式計算splat屬性（中心、比例、四元數(shù)、RGBA）的函數(shù)。這些屬性可以是無狀態(tài)的，也可以依賴于splat文件、紋理和其他全局參數(shù)的復(fù)雜組合進(jìn)行實時程序生成，并且可以隨時間變化以生成實時動畫。
World Labs成立以來完成超過2.3億美元融資，投資方包括a16z、英特爾、AMD等。
他們的目標(biāo)是將多模態(tài)AI從二維像素平面提升到完整的三維世界，稱將于2025年推出首款產(chǎn)品。
另外，World Labs曾透露還計劃打造一些對藝術(shù)家、設(shè)計師、開發(fā)者、電影制作人和工程師等專業(yè)人士有用的工具，目標(biāo)客戶涵蓋從視頻游戲開發(fā)商到電影工作室等各個領(lǐng)域。
從這一點看來，F(xiàn)orge渲染器更像是開發(fā)者工具中的一部分，真正的產(chǎn)品還在后面。
Forge主頁
https://forge.dev
參考鏈接：
[1]https://x.com/BenMildenhall/status/1929618052813054294
相關(guān)閱讀
大模型掌握人類空間思考能力！三階段訓(xùn)練框架學(xué)會“邊畫邊想”，5個基準(zhǔn)平均提升18.4%
視覺推理正經(jīng)歷從“視覺轉(zhuǎn)文本”到“Thinking with Images”的范式轉(zhuǎn)變
