照片上的人出來了!云從3D人體重建登頂三項榜單,一張照片就能生成3D形象
你的Mate 20 Pro是不是買早了?
跳起來的妹子被定格在半空中,成為一張平面的照片。
現在,輸入這張照片到特定的程序里,就變成了這樣:
不只360°,全角度可見的3D立體形象,就好像妹子要從照片里跳出來一樣。
以往的3D人體重建,往往需要多個攝像頭,或者連續的多幀影像,才能重建出人體的3D模型。
不過現在,云從科技在3D重建領域刷新了榜單,而且只需要一個普通攝像頭,拍攝一張照片就可以。
而且,既然一張照片就可以生成3D圖像,那么連續的一段視頻,就可以生成一個動畫電影片段啊。
比如這樣的動態場景,像是陳佩斯老師的《吃面》:
我們把它3D化,從正面看:
從側面看:
從背面看:
從頭頂看,上帝視角吃面:
只要上個色,就可以變成動畫版《吃面》。
三個數據集皆取得第一
云從的基于單幀圖像的3D人體重建技術同時在Human3.6M、Surreal和UP-3D三個數據集上排到了第一名,將原有最低誤差記錄大幅降低30%。
每個數據集上的每項的error都要比此前的研究低,意味著生成的3D模型相對更為準確,更接近人體的真實狀況。
云從科技3D人體重建技術全身精度誤差(Surface Error)在Surreal上從75.4毫米降低到52.7毫米,關節精度誤差(3D Joint Error)從55.8毫米降低到40.1毫米,Human3.6M上的關節精度誤差(3D Joint Error)從59.9毫米降低到46.7毫米,技術的執行速度從之前的上百毫秒降低到僅需5毫秒。
部署在手機上,無需3D結構光
云從的這項技術通過對RGB圖像的分析,推理出人體或人臉的3D形態,并通過光學透視、陰影疊加等基本光學原則準確預測出各個關鍵點在3D空間的位置和朝向,從而得到人體的姿態或表情信息。
除了預測人體的3D形態和姿勢,這項技術還可以實現用6萬多個點完整描繪人體,幀率達到200fps。
另外,在部署上的一個優點是,可以利用普通光學攝像頭作為感知設備,不需要連續圖像或者多視角拍攝。
也即是說,如果將這項技術部署在手機上,那么不需要3D結構光也可以實現3D人臉識別,或者制作3D表情。
相比傳統的人體關鍵點檢測,基于單幀圖像的3D重建技術不僅能輸出骨骼關節點信息,更能同時預測大量的人體表面關鍵點信息,預測結果更加豐富,而且每個點的坐標都是3D的,能夠體現不同軀干的縱深信息。
多樣的應用
除了在手機上實現各種3D卡通表情,3D人體重建技術還可以用在許多不同的場景。
商場購物就是一大應用場景,只需要一個角度的一張照片,就可以重建出顧客的身體3D模型,模擬穿上衣服的效果,節約了落地成本和部署難度。
另外,這一技術也可以優化自拍、直播、短視頻軟件里的美顏、瘦身功能,在3D模型上美顏,效果會相對自然,不會出現角度極端的“蛇精臉”,加上虛擬的妝容打扮也可以更自然。
而當技術成熟之后,在影視特效制作方面,這項技術也可以更方便的制作出阿麗塔這類3D角色,而不必使用復雜的設備。
- MEET2020 | 百度景鯤:AI交互正在吃掉舊產品邊界,觸達移動互聯網盲區用戶2019-12-10
- MEET2020 | 王硯峰揭秘搜狗AI技術體系:自然交互在左,知識計算在右,核心是語言2019-12-16
- MEET2020 | 曠視唐文斌:你到底給誰創造了什么樣的價值?這是AI產品的靈魂拷問2019-12-17
- MEET2020 | 快手劉霽:AI基礎能力決定每個公司AI的迭代和落地效率2019-12-20




