照片上的人出來了！云從3D人體重建登頂三項榜單，一張照片就能生成3D形象
你的Mate 20 Pro是不是買早了？
跳起來的妹子被定格在半空中，成為一張平面的照片。
現在，輸入這張照片到特定的程序里，就變成了這樣：
不只360°，全角度可見的3D立體形象，就好像妹子要從照片里跳出來一樣。
以往的3D人體重建，往往需要多個攝像頭，或者連續的多幀影像，才能重建出人體的3D模型。
不過現在，云從科技在3D重建領域刷新了榜單，而且只需要一個普通攝像頭，拍攝一張照片就可以。
而且，既然一張照片就可以生成3D圖像，那么連續的一段視頻，就可以生成一個動畫電影片段啊。
比如這樣的動態場景，像是陳佩斯老師的《吃面》：
我們把它3D化，從正面看：
從側面看：
從背面看：
從頭頂看，上帝視角吃面：
只要上個色，就可以變成動畫版《吃面》。
三個數據集皆取得第一
云從的基于單幀圖像的3D人體重建技術同時在Human3.6M、Surreal和UP-3D三個數據集上排到了第一名，將原有最低誤差記錄大幅降低30%。
每個數據集上的每項的error都要比此前的研究低，意味著生成的3D模型相對更為準確，更接近人體的真實狀況。
云從科技3D人體重建技術全身精度誤差（Surface Error）在Surreal上從75.4毫米降低到52.7毫米，關節精度誤差（3D Joint Error）從55.8毫米降低到40.1毫米，Human3.6M上的關節精度誤差（3D Joint Error）從59.9毫米降低到46.7毫米，技術的執行速度從之前的上百毫秒降低到僅需5毫秒。
部署在手機上，無需3D結構光
云從的這項技術通過對RGB圖像的分析，推理出人體或人臉的3D形態，并通過光學透視、陰影疊加等基本光學原則準確預測出各個關鍵點在3D空間的位置和朝向，從而得到人體的姿態或表情信息。
除了預測人體的3D形態和姿勢，這項技術還可以實現用6萬多個點完整描繪人體，幀率達到200fps。
另外，在部署上的一個優點是，可以利用普通光學攝像頭作為感知設備，不需要連續圖像或者多視角拍攝。
也即是說，如果將這項技術部署在手機上，那么不需要3D結構光也可以實現3D人臉識別，或者制作3D表情。
相比傳統的人體關鍵點檢測，基于單幀圖像的3D重建技術不僅能輸出骨骼關節點信息，更能同時預測大量的人體表面關鍵點信息，預測結果更加豐富，而且每個點的坐標都是3D的，能夠體現不同軀干的縱深信息。
多樣的應用
除了在手機上實現各種3D卡通表情，3D人體重建技術還可以用在許多不同的場景。
商場購物就是一大應用場景，只需要一個角度的一張照片，就可以重建出顧客的身體3D模型，模擬穿上衣服的效果，節約了落地成本和部署難度。
另外，這一技術也可以優化自拍、直播、短視頻軟件里的美顏、瘦身功能，在3D模型上美顏，效果會相對自然，不會出現角度極端的“蛇精臉”，加上虛擬的妝容打扮也可以更自然。
而當技術成熟之后，在影視特效制作方面，這項技術也可以更方便的制作出阿麗塔這類3D角色，而不必使用復雜的設備。
- MEET2020 | 百度景鯤：AI交互正在吃掉舊產品邊界，觸達移動互聯網盲區用戶2019-12-10
- MEET2020 | 王硯峰揭秘搜狗AI技術體系：自然交互在左，知識計算在右，核心是語言2019-12-16
- MEET2020 | 曠視唐文斌：你到底給誰創造了什么樣的價值？這是AI產品的靈魂拷問2019-12-17
- MEET2020 | 快手劉霽：AI基礎能力決定每個公司AI的迭代和落地效率2019-12-20
相關閱讀
