這個AI能幫你女朋友自拍：從照片生成3D視頻，總有個角度讓她滿意
華盛頓大學和谷歌聯(lián)合推出“自拍版NeRF”
曉查 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
愛自拍的女生，為了拍一張美照總是需要很久，就是為了找到最美的角度。
比如這位妹子，在自己的書架前拍了4張自拍照，都不太滿意。
現(xiàn)在可以把選最美角度這件事交給AI了，讓妹子不再苦惱。只要幾張照片，它能從中生成各種角度的自拍。
然后，你可以在AI生成的視頻里，找到一個自認為最美的角度，分享到朋友圈。
這個AI就是華盛頓大學和谷歌聯(lián)合開發(fā)的nerfies。
這種方法不需要太復雜的設備，只要智能手機的攝像頭和CPU就能完成運算和渲染。這可比iPhone 12 Pro用內置激光雷達來生成3D圖像的成本低多了。
原理
看到nerfies這個名字是不是有種似曾相識的感覺？nerfies其實就是NeRF+Selfies兩個單詞合并而來。
NeRF（神經(jīng)輻射場）是谷歌最近開發(fā)的一種2D圖像轉3D的模型，但NeRF要求拍攝對象在整個過程保持完全靜止。
比如，上面的妹子在自拍4張照片的時候，頭部姿勢不可避免地會發(fā)生變化，如果直接套用NeRF，效果慘不忍睹。
而nerfies則是可變性神經(jīng)輻射場（Deformable NeRF），它能夠重建非剛性變形的場景。
在NeRF的基礎上，作者從幾何和物理模擬的原理出發(fā)，提出了NeRF的彈性正則化，進一步提高了2D轉3D的魯棒性。
在可變性NeRF中，作者引入了彈性正則化、背景正則化以及一種可避免不良的局部最小值退火技術。
作者將潛在變形碼（ω）和外觀碼（ψ）與每個圖像關聯(lián)。在觀測幀中對攝像機光線進行追蹤，并使用變形場將樣本沿光線轉換到規(guī)范幀，變形場由變形碼ω編碼為MLP。
另外使用轉換后的樣本位置(x0，y0，z0)、觀察方向(θ，φ)和外觀碼ψ作為MLP的輸入，來查詢模板NeRF模塊，并沿著光線對樣本進行積分。
更多玩法
可變性NeRF不僅可以用于自拍，還有更多好玩的用途。
比如創(chuàng)建“希區(qū)柯克變焦”的效果，過去需要專門的攝影技巧，或者是通過由遠及近的拍攝視頻再后期處理。現(xiàn)在只要幾張照片就可以了。
如果不需要場景角度變化，而是需要人物姿勢變化呢？
可變性NeRF能在頭向左和向右之間線性插入任意姿勢的照片。
最后還有一個用途是生成防抖視頻。既然可變性NeRF可以生成任意角度的圖像，那么現(xiàn)在可以讓手負責抖，而讓它負責穩(wěn)了。
目前作者還沒有公布源代碼，不過他們的項目主頁上已經(jīng)放上了GitHub的按鈕，看來他們已經(jīng)準備開源了。你是不是迫不及待想試一下呢？
項目地址：
https://nerfies.github.io/
論文地址：
https://arxiv.org/abs/2011.12948
- 腦機接口走向現(xiàn)實，11張PPT看懂中國腦機接口產業(yè)現(xiàn)狀｜量子位智庫2021-08-10
- 張朝陽開課手推E=mc2，李永樂現(xiàn)場狂做筆記2022-03-11
- 阿里數(shù)學競賽可以報名了！獎金增加到400萬元，題目面向大眾公開征集2022-03-14
- 英偉達遭黑客最后通牒：今天必須開源GPU驅動，否則公布1TB機密數(shù)據(jù)2022-03-05
相關閱讀
CVPR 2025：單圖秒變專業(yè)影棚，幾何/材質/光影全搞定，數(shù)據(jù)代碼開源
香港中文大學、上海人工智能實驗室及南洋理工大學的研究團隊聯(lián)合研發(fā)
