只用靜態圖像，就能實時渲染出絲滑3D效果 | CVPR 2021 Oral
渲染速度提升3個數量級
魚羊 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
這般絲滑的美食展示，是否讓跟隨鏡頭移動的你食指大動？
再看這放大鏡里流暢變化的彈簧，你敢相信，這完全是用靜態圖像合成的嗎？
沒錯，這樣的動圖并非截自視頻，而是來自AI的合成大法。
甚至只需手機隨手拍攝的十幾張2D照片，就能實時渲染生成。
比起大名鼎鼎的谷歌前輩NeRF，這只名為NeX的AI，能直接把每秒渲染幀數從0.02幀提升到60幀。
也就是說，渲染速度能提升3個數量級。
細節之處，也更加接近真實效果。
這項已經入選CVPR 2021 Oral的研究，是怎么做到的？
像素參數與基函數結合
多平面圖像（MPI）視圖合成技術，使得不用3D建模，只用少數幾張圖像還原多視角逼真3D效果成為可能。
不過，此前的MPI主要采用的是標準RBGα表示法，簡單說就是把圖像轉換成RGBα平面，以進行后續的計算。
這樣做的局限性在于，其表示出的物體外觀僅與漫反射表面有關，與視角無關。
這就極大地限制了MPI可以捕捉的物體和場景類型。
為此，來自泰國科學技術研究所VISTEC的研究人員提出：將每個像素的參數轉化為基函數的系數，進行線性組合，并以此創建與視圖相關的效果模型。
就如上圖所示，多平面圖像中每個像素都由alpha透明值、基色k0和視圖相關的反射系數k1…kn組成。
將這些系數和神經網絡預測的基函數進行線性組合，就產生了最終的顏色值。
如此一來，像金屬勺子在不同視角下的反射效果這樣的信息，都能在合成圖像中顯示出來。
具體到整個NeX的結構，對于輸入圖像，首先根據不同平面深度，對像素坐標（x，y）進行采樣，以構建出MPI中的每個像素。
然后，把這個數據喂給多層感知機（MLP），得到alpha透明度，以及和視圖相關的基礎系數（k1，k2，…，kn）。
這些系數再與顯式的k0一起，與另一個MLP預測的基函數相乘，生成RGB值。
輸出圖像，如公式1所示，為所有平面復合運算的結果。
而在細節效果的提升方面，研究人員人員發現，通過比較渲染圖像和真實值之間的差距，對基色k0進行優化，就可以得到很好的效果，顯著減輕網絡壓縮和細節重現的負擔，減少迭代次數。
研究人員還補充說，NeX可以被理解成是隱式輻射場函數的離散抽樣。
至于實時渲染，論文指出，NeX MPI中的每一個模型參數都可以轉換為圖像。而給定預先計算好的圖像，就可以在OpenGL/WebGL的片段著色器中實現上述公式1，實現捕獲場景的實時渲染。
實驗結果
有NeRF珠玉在前，NeX具體到數據上，到底有怎樣的提升？
在運行時間方面，輸入17張分辨率為1008×756的照片，批量大小為1的情況下，使用單個英偉達V100訓練，NeX的耗時大概為18小時。
使用WebGL，此場景可以以每秒60幀的速度被渲染出來。
而在同一臺機器上運行，NeRF則需要大約55秒才能生成一幀。
也就是說，NeX的渲染速度比NeRF要快1000倍以上。
與SRN、LLFF和NeRF相比，在峰值信噪比、結構相似性和圖像感知相似度這三個指標上，NeX都達到了最佳。
而在定性比較中，可以看到，與NeRF相比，在顏色均勻的區域，NeX細節更清晰，噪聲更少，更接近真實值。
LLFF雖然細節表現也很好，但當結果以視頻形式呈現時，會產生跳躍和扭曲偽影。
可上手試玩
對了，如果你對NeX感興趣，還可以到項目官網親自感受一下實時渲染Demo。
還有手機版和VR版喲。
傳送門
項目地址：
https://nex-mpi.github.io/
論文地址：
https://arxiv.org/abs/2103.05606
— 完 —
- 蘋果芯片主管也要跑路！庫克被曝出現健康問題2025-12-07
- 世界模型和具身大腦最新突破：90%生成數據，VLA性能暴漲300%｜開源2025-12-02
- 谷歌新架構突破Transformer超長上下文瓶頸！Hinton靈魂拷問：后悔Open嗎？2025-12-05
- 90后華人副教授突破30年數學猜想！結論與生成式AI直接相關2025-11-26
相關閱讀
