照片上的人出來了！云從3D人體重建登頂三項榜單，一張照片就能生成3D形象
你的Mate 20 Pro是不是買早了？
跳起來的妹子被定格在半空中，成為一張平面的照片。
現(xiàn)在，輸入這張照片到特定的程序里，就變成了這樣：
不只360°，全角度可見的3D立體形象，就好像妹子要從照片里跳出來一樣。
以往的3D人體重建，往往需要多個攝像頭，或者連續(xù)的多幀影像，才能重建出人體的3D模型。
不過現(xiàn)在，云從科技在3D重建領(lǐng)域刷新了榜單，而且只需要一個普通攝像頭，拍攝一張照片就可以。
而且，既然一張照片就可以生成3D圖像，那么連續(xù)的一段視頻，就可以生成一個動畫電影片段啊。
比如這樣的動態(tài)場景，像是陳佩斯老師的《吃面》：
我們把它3D化，從正面看：
從側(cè)面看：
從背面看：
從頭頂看，上帝視角吃面：
只要上個色，就可以變成動畫版《吃面》。
三個數(shù)據(jù)集皆取得第一
云從的基于單幀圖像的3D人體重建技術(shù)同時在Human3.6M、Surreal和UP-3D三個數(shù)據(jù)集上排到了第一名，將原有最低誤差記錄大幅降低30%。
每個數(shù)據(jù)集上的每項的error都要比此前的研究低，意味著生成的3D模型相對更為準(zhǔn)確，更接近人體的真實狀況。
云從科技3D人體重建技術(shù)全身精度誤差（Surface Error）在Surreal上從75.4毫米降低到52.7毫米，關(guān)節(jié)精度誤差（3D Joint Error）從55.8毫米降低到40.1毫米，Human3.6M上的關(guān)節(jié)精度誤差（3D Joint Error）從59.9毫米降低到46.7毫米，技術(shù)的執(zhí)行速度從之前的上百毫秒降低到僅需5毫秒。
部署在手機(jī)上，無需3D結(jié)構(gòu)光
云從的這項技術(shù)通過對RGB圖像的分析，推理出人體或人臉的3D形態(tài)，并通過光學(xué)透視、陰影疊加等基本光學(xué)原則準(zhǔn)確預(yù)測出各個關(guān)鍵點(diǎn)在3D空間的位置和朝向，從而得到人體的姿態(tài)或表情信息。
除了預(yù)測人體的3D形態(tài)和姿勢，這項技術(shù)還可以實現(xiàn)用6萬多個點(diǎn)完整描繪人體，幀率達(dá)到200fps。
另外，在部署上的一個優(yōu)點(diǎn)是，可以利用普通光學(xué)攝像頭作為感知設(shè)備，不需要連續(xù)圖像或者多視角拍攝。
也即是說，如果將這項技術(shù)部署在手機(jī)上，那么不需要3D結(jié)構(gòu)光也可以實現(xiàn)3D人臉識別，或者制作3D表情。
相比傳統(tǒng)的人體關(guān)鍵點(diǎn)檢測，基于單幀圖像的3D重建技術(shù)不僅能輸出骨骼關(guān)節(jié)點(diǎn)信息，更能同時預(yù)測大量的人體表面關(guān)鍵點(diǎn)信息，預(yù)測結(jié)果更加豐富，而且每個點(diǎn)的坐標(biāo)都是3D的，能夠體現(xiàn)不同軀干的縱深信息。
多樣的應(yīng)用
除了在手機(jī)上實現(xiàn)各種3D卡通表情，3D人體重建技術(shù)還可以用在許多不同的場景。
商場購物就是一大應(yīng)用場景，只需要一個角度的一張照片，就可以重建出顧客的身體3D模型，模擬穿上衣服的效果，節(jié)約了落地成本和部署難度。
另外，這一技術(shù)也可以優(yōu)化自拍、直播、短視頻軟件里的美顏、瘦身功能，在3D模型上美顏，效果會相對自然，不會出現(xiàn)角度極端的“蛇精臉”，加上虛擬的妝容打扮也可以更自然。
而當(dāng)技術(shù)成熟之后，在影視特效制作方面，這項技術(shù)也可以更方便的制作出阿麗塔這類3D角色，而不必使用復(fù)雜的設(shè)備。
相關(guān)閱讀
NVIDIA何琨：AI視頻處理加速引擎TensorRT及Deepstream介紹
來自愛奇藝技術(shù)沙龍“多模態(tài)視頻人物識別的關(guān)鍵技術(shù)及應(yīng)用”。
登頂五大數(shù)據(jù)集！最強(qiáng)目標(biāo)跟蹤算法SiamRPN++開源了，商湯出品 | CVPR 2019 Oral
SiamRPN++在5個大型跟蹤數(shù)據(jù)集上，都拿到了最好成績。
高額獎池、院士評定，首屆全球人工智能技術(shù)創(chuàng)新大賽開啟征召
在賽題設(shè)置上，結(jié)合人工智能領(lǐng)域的技術(shù)發(fā)展，大賽設(shè)置醫(yī)學(xué)影像報告異常檢測、PANDA大場景多對象檢測跟蹤、小布助手對話短文本語義匹配三大賽題，邀請全球AI人才共同突破賽題中的關(guān)鍵技術(shù)瓶頸，推進(jìn)下一代人工智能前瞻性研究發(fā)展。
