英偉達(dá)新研究：不用動(dòng)捕，直接通過視頻就能捕獲3D人體動(dòng)作｜ICCV 2021

豐色 2021-09-26 13:04:39 來源：量子位

拿去訓(xùn)練的結(jié)果在多樣性上還更勝一籌

不靠昂貴的動(dòng)捕，直接通過視頻也能提取3D人體模型然后進(jìn)行生成訓(xùn)練：

英偉達(dá)新研究：不用動(dòng)捕，直接通過視頻就能捕獲3D人體動(dòng)作

英偉達(dá)這項(xiàng)最新研究不僅省錢，效果也不錯(cuò)——

其合成的樣本完全可以用在以往只在動(dòng)捕數(shù)據(jù)集上訓(xùn)練的運(yùn)動(dòng)合成模型，且在合成動(dòng)作的多樣性上還能更勝一籌。

成果已被ICCV 2021接收。

四個(gè)步驟從視頻獲得人體模型

下圖概述了英偉達(dá)提出的這個(gè)從視頻中獲得動(dòng)作樣本的框架。

包含4步：

1、首先輸入一個(gè)視頻，使用單目姿勢(shì)預(yù)估模型（pose estimator）生成由每幀圖像組成的視頻序列。

2、然后利用反向動(dòng)力學(xué)，用每幀的3D關(guān)鍵點(diǎn)形成SMPL模型動(dòng)作。

SMPL是一種參數(shù)化人體模型，也就是一種3D人體建模方法。

3、再使用他們提出的基于物理合理性的修正方法來優(yōu)化上述動(dòng)作；

4、使用上述步驟處理所有視頻，就可以使用獲得的動(dòng)作代替動(dòng)捕來訓(xùn)練動(dòng)作生成模型了。

概括起來就是用輸入視頻生成動(dòng)作序列，然后建模成3D人體，再進(jìn)行優(yōu)化，最后就可以像使用標(biāo)準(zhǔn)動(dòng)作捕捉數(shù)據(jù)集一樣使用它們來訓(xùn)練你的動(dòng)作生成模型。

下面是他們用該方法生成的一個(gè)樣本合集：

具體效果如何？

研究人員對(duì)比了該方法與一些動(dòng)捕模型，比如最新的PhysCap等。

PhysCap，一款基于AI算法的單目3D實(shí)時(shí)動(dòng)捕方案。

結(jié)果發(fā)現(xiàn)，他們的方法在平均關(guān)節(jié)位置(MPJPE）的誤差低于PhysCap。

其中的基于物理的修正方法更是將樣本的腳切線速度誤差降低40%以上，高度誤差降低80%。

那用這些樣本來訓(xùn)練生成模型的效果如何呢？

他們使用3個(gè)不同的訓(xùn)練數(shù)據(jù)集訓(xùn)練相同的DLow模型。

DLow（GT）是使用實(shí)際動(dòng)捕數(shù)據(jù)進(jìn)行訓(xùn)練的人體運(yùn)動(dòng)模型。
DLow（PE-dyn）是他們提出的方法，使用物理校正后的姿勢(shì)訓(xùn)練。
DLow（PE-kin）也是他們的方法，沒有優(yōu)化過動(dòng)作。

結(jié)果是DLow（PE-dyn）模型的多樣性最好，超越了動(dòng)捕數(shù)據(jù)集下的訓(xùn)練。

但在最終位移誤差(FDE)和平均位移誤差(ADE)上略遜一籌。