無障礙化身小黑子只需6枚傳感器，來自清華輕量化動捕新成果｜SIGGRAPH 2024
建模非慣性力帶來“虛擬加速”
清華大學 徐楓團隊 投稿
量子位 | 公眾號 QbitAI
僅需6枚硬幣大小的傳感器，即可做到實時精準全身動作捕捉。
來自清華大學團隊的最新研究，入選計算機圖形學頂會SIGGRAPH 2024。
有了這項技術，可以無障礙化身小黑子。
打拳等大幅度運動也不在話下。
簡潔是這類技術的核心優勢之一，6枚慣性傳感器（IMU）穿戴于四肢末端、頭部和后背。
IMU傳感器其實智能手機、手環、手表、耳機上都有，生活中十分常見。視頻中使用的IMU體積非常小，與一枚一圓硬幣大小相當，佩戴在身上幾乎察覺不到。
△一元硬幣（左）與該技術使用的慣性傳感器（右）
不光形式簡潔、佩戴方便，且和一套動輒百十萬的傳統動捕設備相比，其成本降低到了普通用戶可以輕松接受的水平。
例如，日本索尼公司在去年發布了mocopi產品，提供給用戶6枚IMU進行動作捕捉的解決方案，售價為449.99美元。
△索尼mocopi產品，使用6個IMU進行動作捕捉
來自清華大學的研究人員基于在該領域已有的技術積累，提出名為PNP的新技術，在動作捕捉精度上大幅超越現有的學術界及工業界解決方案。
其中與索尼公司的mocopi相比，可見新方案在多數人體動作上完成的更加標準、自然：
△索尼mocopi（左，黑色）與本技術PNP（右，橙色）實時動作捕捉結果對比
不僅相比于工業界產品mocopi有明顯更高的精度，相比于學術界的最先進的方案，本技術也有明顯優勢：
△學術界的最先進方案PIP（左，藍色）與本技術PNP（右，橙色）實時動作捕捉結果對比
該技術將發表在SIGGRAPH 2024上，代碼已經開源
建模非慣性力帶來“虛擬加速度”
本技術指出了過去工作存在的一個問題，即使用慣性測量值估計人體運動時忽略了非慣性力的問題。
具體來說，人體動作捕捉任務通常分解為人體姿態估計、人體運動估計兩個子任務求解。
在人體姿態估計任務中，過去的方法往往使用人體根節點坐標系簡化網絡訓練，即使用根節點坐標系下的IMU測量值（包括加速度、和旋轉）來估計人體姿態（即關節旋轉）。
然而由于人體的加速和轉動，根節點坐標系通常是一個非慣性系，將加速度變換到非慣性系時必須要考慮非慣性力的影響。
舉一個簡單的例子，假設被捕捉者站立于轉臺上，此時靜止的觀測者會認為IMU加速度測量值和人體運動一致（讀數為旋轉的向心加速度），而位于轉臺上的動態觀測者則會指出IMU的加速度讀數與他看到的人體運動不符（他會看到靜止的人體）。
究其原因，是因為動態觀測者使用了非慣性參考系，他在讀取IMU的數據時必須加上非慣性力（如離心力、科里奧利力），才能獲得和觀測一致的結果。
本技術通過建模非慣性力帶來的“虛擬加速度”，保證了神經網絡看到的加速度和人體運動一致。通過更加充分利用加速度測量值，可以提高動作捕捉的精度。
以一個例子說明本技術的實際作用：我們對比人體轉圈和收縮手臂的兩種運動（下圖左），此時位于手臂上的IMU都會測到向內的加速度，如果簡單地變換到根節點坐標系，這兩種動作將無法區分（下圖中）；而在本技術中，人體旋轉產生的“離心力”與IMU測量到的向心力抵消，使得兩種動作可以被有效區分開（下圖右）。
本項目主頁中的視頻通過動畫直觀的講解了本技術的核心思路和背后的物理知識，讀者可以進行參考。
準確且符合物理規律
得益于更充分的加速度的使用，本技術可以解決過去工作難以捕捉的舉手、沖拳等IMU旋轉幾乎不變、只能通過加速度來重建的動作。
△相比于之前的方法PIP（左，藍色），本技術PNP（右，橙色）能更準確重建舉手、沖拳動作
復雜動作的捕捉也更加準確。
△相比于之前的方法PIP（左，藍色），本技術PNP（右，橙色）能更準確地捕捉復雜動作
相比于工業界的方案（索尼mocopi），本技術使用了人體物理優化，使得重建的結果符合物理規律（例如避免了腳在地面上滑動等問題）。
△相比于索尼mocopi（左，黑色），本技術PNP（右，橙色）捕捉的動作符合物理規律（腳不滑動）
對于復雜運動如下蹲行走，本技術也能更好地處理：
△相比于索尼mocopi（左，黑色），本技術PNP（右，橙色）捕捉復雜動作更加準確。
更多的對比結果可以參考主頁的視頻。
論文地址：https://arxiv.org/abs/2404.19619
項目主頁：https://xinyu-yi.github.io/PNP/
開源代碼：https://github.com/Xinyu-Yi/PNP
- DeepSeek-V3.2-Exp第一時間上線華為云2025-09-29
- 你的AI助手更萬能了！天禧合作字節扣子，解鎖無限新功能2025-09-26
- 你的最快安卓芯片發布了！全面為Agent鋪路2025-09-26
- 任少卿在中科大招生了！碩博都可，推免學生下周一緊急面試2025-09-20
相關閱讀
