北大北郵的門，機器人開
提出通用門操作框架
UniDoorManip團隊 投稿
量子位 | 公眾號 QbitAI
搜集了328×204條數據，只為讓機器人把開門這一件事做到極致。
這是來自北大董豪團隊和北郵何召鋒團隊的新研究。
做到了開箱即用，不需要在現實世界重新微調，就能操控房門、車門等各種能想到的門。
無論是普通的圓形的門把手；
還是需要鑰匙才能打開的儲物柜；
甚至是開保險柜，對它來說都不在話下。
目前項目主頁和論文都已上線，數據集和仿真環境的代碼也已經開源。
所以，這個專門開門的機器人框架，都有什么厲害的地方呢？
開門任務新SOTA
這個框架名為UniDoorManip，集成了龐大的仿真數據集，并對真實世界的門操作機制進行有效的模擬。
與之前CMU的開門策略相比，該框架首次提出了一套規模與多樣性兼具的仿真環境門類物體數據集。
通過收集大規模仿真數據實現對門類物體的操作，UniDoorManip利用門機制的特點訓練出了跨類別的統一的開門策略。
為了測評機器人的實際表現，作者在最具挑戰性的拉門任務上進行了實驗。
之所以說最具有挑戰性，是因為機器人需要在機械臂夾爪一直抓住把手不脫落的同時，保證機械臂自身的姿態以及底座的移動不影響開門的操作。
下表對比了在訓練集和測試集下，UniDoorManip和baseline方案（比如強化學習以及一些啟發性算法）把門開到45°的成功率，證明了該框架的有效性。
進一步地，為了進一步驗證該框架在更大開門角度的魯棒性，作者進行了進一步的實驗。
結果在角度增大到60度時，該框架仍然保持了70%左右的成功率。
所以，在開門這件事上，這個機器人框架，或許真的是比人更加“見多識廣”……
那么，UniDoorManip框架又是如何讓機器人如何學會自主開門的呢？
像人類一樣完成動作
我們不妨先想一想，人類在開門時是如何操作的？
在動手之前，我們先要準確找到門把手的位置，然后基于把手的不同形狀，做出抓握和旋轉操作。
受人類開門過程的啟發，研究團隊對整個開門操作進行了階段性解耦，每個階段均配備專門的操作策略決策專家。
通過整合各階段專家的策略，形成了一套通用的開門操作策略框架，從而提高了機器人的操作效率和適應能力。
當然只有策略還不夠，還需要有訓練數據，才能讓機器人學會不同情況的應對策略。
所以，為了提升機器人應對不同環境的通用性，研究團隊構建了一套龐大的仿真數據集，在模擬環境中再現多種復雜開門場景。
以往的數據集比如DoorGym和PartNet-Mobility缺少類似門這類型的物體，因此作者基于現實生活中常見的擁有類似開門機制的物體，構建了一個大規模的仿真數據集urdf模型。
該數據集包含了六類物體——門、窗戶、保險箱、車、櫥柜以及冰箱。
同時，該數據集利用部件組合的特點，先構建把手和門板的數據集，再進行裝配組合，保證了數據集的易用性和可擴展性。
到目前為止，該數據集包括328個門板和204個把手，可以組裝成8000多個的urdf（統一機器人描述格式）模型。
目前作者團隊正在對該數據集進行進一步的擴展，以覆蓋更多操作機制更加復雜的物體。
為了更加貼近生活中場景開門場景，作者對UniDoorManip開門機制進行了專門設計，保證只有按壓把手完成后，才能把門推開。
由于仿真環境中碰撞計算的不穩定性，直接使用門閂去控制門鎖的開關容易導致容易門閂和門板之間出現穿模的問題。
而真實世界中當人們去拉開一扇鎖住的門時，門閂會在門板上產生與人的拉力相反的平衡力作用，使得門板保持靜止。
考慮到這個問題，作者采用外加反抗力來替代門閂的特性，從而模擬了真實場景中門鎖的機制。
解決了和真實場景的差異，還有一個問題是，由于開門過程整個動作空間非常大，直接采用端到端的策略不可行。
作者將開門過程分解成了三個階段，各自得到一個通用的操作策略，再整合到一起，并通過反向訓練的方法克服階段中間策略轉換的狀態不匹配問題。
- 初始階段，模型基于輸入的觀測點云預測了視覺可操作性先驗Affordance，該視覺先驗指引機器人去抓住把手上能夠使得開門成功率最高的位置；
- 第二階段，作者采用了生成器與判別器的框架，生成器采用條件變分自編碼器（cVAE）的網絡結構去生成下一步可執行的動作，而判別器則基于當前的點云以及機械臂狀態的觀測，對生成的一系列動作進行成功率打分，最后執行得分最高的動作。該階段需要保證輸出動作的策略能夠泛化到各種各樣的操作機制，從而將門解鎖。
- 最后階段采用了與上一階段類似的架構，模型輸出閉環的動作來不斷將門拉開，這里輸出的動作既能夠保證穩定的抓住門把手不脫落，又能防止機械臂自身不與門有碰撞。
論文地址：
https://arxiv.org/abs/2403.02604
項目主頁：
https://unidoormanip.github.io/
GitHub：
https://github.com/sectionZ6/UniDoorManip
- 14歲華人小孩，折個紙成美國天才少年2025-12-06
- 智能體A2A落地華為新旗艦，鴻蒙開發者新機遇來了2025-12-06
- 《三體》“宇宙閃爍”成真！免佩戴裸眼3D屏登Nature2025-12-06
- ROCK & ROLL！阿里給智能體造了個實戰演練場 | 開源2025-11-26
相關閱讀
