機器人訓練，北京男大有了技能玩法

一水 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

還得是大學生會玩啊（doge）！

網(wǎng)上正高速沖浪中，結(jié)果意外發(fā)現(xiàn)：有男大竟找了個機器人隊友？而且機器人還相當黏人（bushi~

白天超市打工它要跟著，一看東西裝好就立馬樂顛顛幫忙拉小推車，上樓下樓忙個不停：

等到中午去食堂兼職，它也自告奮勇幫忙推餐車，而且指哪打哪（拍拍頭就知道你想讓它停下）：

甚至，一天勞作結(jié)束后，連健身它也要一起。既然來都來了，男大表示：那就練起來！

笑死，感覺可以以機器人視角去拍vlog了，標題就叫《高能量之機器人的一天》。

言歸正傳，不知道大家發(fā)現(xiàn)沒有，圖中男大和機器人伙伴的交流都是通過拍拍頭、拉拉身體搞定的，既沒有遙控、也沒有語音。

這就有點東西了！要知道目前絕大多數(shù)機器人都是靠外部傳感器（攝像頭、激光雷達等）和遙控驅(qū)動的，而這群男大竟提出了一種全新的方式——僅通過“本體感知（Proprioception）”就能和外界交互。

好好好，搞半天人家這還是個技術(shù)含量很高的正經(jīng)研究，而且連論文都有。

速去扒了一扒，結(jié)果發(fā)現(xiàn)里面還真有不少好東西、新東西——

強化學習新方法：僅依賴本體感知搬運各種物體

先說說他們想解決什么問題吧。

在“人機協(xié)作搬東西”這一核心場景中，相關(guān)技術(shù)已在機械臂上驗證充分，但在人形機器人領(lǐng)域仍探索不足。

這主要是因為人形機器人復雜的“全身動力學” ——相比機械臂僅需控制局部關(guān)節(jié)，人形機器人需要協(xié)調(diào)軀干、四肢等多個部位，且運動過程極易受自身平衡、環(huán)境接觸等多因素影響。

于是，他們設定了一個大膽的目標：實現(xiàn)人形機器人與人類完美協(xié)作搬運各種東西。

為此，他們在論文中提出了一種全新的強化學習方法COLA——不依賴攝像頭、激光雷達等外部傳感器，機器人僅通過“本體感知（Proprioception）”就能和外界進行交互。

具體而言，COLA的設計思路可以拆解為以下3點：

讓機器人學會“眼里有活兒”

第一點就是教會機器人如何“眼里有活”。

想象你正在和機器人一起搬柜子。傳統(tǒng)機器人往往比較呆板——需要分別設計“機器人主導（領(lǐng)導者）” 和“人類主導（跟隨者）” 兩種獨立策略，切換時容易卡頓。

而COLA將這兩種情況整合到一個統(tǒng)一策略中：

• 當你發(fā)力穩(wěn)定、方向明確時，機器人就化身“跟隨者”，配合你的動作。
• 當你猶豫或柜子有傾斜風險時，它會立刻切換成“主導者”，主動調(diào)整動作穩(wěn)住平衡。

無需任何人工干預或額外指令，機器人自己就能實現(xiàn)兩種角色的絲滑切換。

不信你瞅，它現(xiàn)在搬東西上斜坡也不在話下：

在動態(tài)實戰(zhàn)中訓練

此外，為了讓COLA能應對真實世界的混亂，它的訓練場是一個高度動態(tài)的閉環(huán)環(huán)境。

一方面，為避免模型僅在固定軌跡搬運中有效，他們在訓練時模擬了各種突發(fā)狀況，例如人類突然轉(zhuǎn)向、物體重量分布變化、手部打滑……主打一個實戰(zhàn)演練。

另一方面，訓練過程中會逐漸形成一個閉環(huán)——機器人的動作會實時反饋給環(huán)境（如物體位置變化），環(huán)境變化又反過來影響機器人的決策（如物體傾斜后機器人需調(diào)整力度），形成“決策-反饋-再決策”的循環(huán)，就像真實搬運中持續(xù)的“你拉我推”。

點擊就看人機反復推拉之術(shù)（手動狗頭）：

僅依賴 “本體感知”，無需外部傳感器

“崗前培訓”結(jié)束后，接下來真進入實戰(zhàn)環(huán)節(jié)了。

前面也反復提到，COLA的關(guān)鍵優(yōu)勢之一是“不依賴外部傳感器”，僅通過機器人的“本體感知”就能接收獲取信息。

所謂“本體感受”是指機器人自身的內(nèi)置感知數(shù)據(jù)，比如關(guān)節(jié)角度、肌肉執(zhí)行器的力度反饋、自身的位置/速度信息等。采用這種設計，機器人這下不僅能免受外部環(huán)境干擾（如光線昏暗影響攝像頭），而且交互方式也大變樣了。

很直觀的一點就是，一直以來廣受吐槽的遙控這下真沒了。

搬箱子一人一機就能搞定：

之所以能拋棄傳感器，這主要得益于關(guān)鍵兩步：

• 殘差教師微調(diào)：先讓機器人學會穩(wěn)定的運動策略，然后引入一個殘差教師模型，專門學習在搬運協(xié)作中需要做出的額外調(diào)整（如何打配合），最終將兩者結(jié)合微調(diào)出一個完整的協(xié)作策略；
• 仿真訓練與知識蒸餾：上述過程全部在仿真環(huán)境中完成，可以快速、安全地模擬數(shù)百萬次訓練。訓練出強大的“教師”后，再通過知識蒸餾技術(shù)，將其能力遷移到一個更輕便、更適合在實體機器人上運行的“學生策略”中。

正是這個精巧的設計，讓它徹底告別了傳感器。 因為在整個過程中，無論是基礎(chǔ)的運動能力，還是高級的協(xié)作技巧，模型學習和決策的全部依據(jù)，都來自于機器人的本體感知數(shù)據(jù)。

而且值得一提的是，這種設計也降低了硬件成本和系統(tǒng)復雜度，畢竟現(xiàn)在無需耗費時間金錢在外部傳感器的采購和軟硬件集成上了。

整體而言，COLA的終極目標不是去“猜”人類具體在想什么，而是通過本體感知數(shù)據(jù)“隱式預測（Implicitly Predict）”兩個關(guān)鍵信息：

• 物體的運動趨勢（會不會翻？要往哪倒？）
• 人類的協(xié)作意圖（他想轉(zhuǎn)彎嗎？需要我多出力嗎？）

最終，以“維持負載平衡”為核心指標，整個過程通過協(xié)調(diào)的軌跡規(guī)劃來實現(xiàn)安全、順滑的人機協(xié)作。

仿真/真實世界/人類用戶實驗，均驗證了COLA的有效性

更多實驗也驗證了COLA設計的有效性。

在仿真實驗中，通過可控虛擬環(huán)境，他們想精確測量COLA對人類effort（指用力大小、肌肉疲勞度）和物體穩(wěn)定性的影響。

結(jié)果發(fā)現(xiàn)，不管是運動的精準度（線速度、角速度、高度誤差），還是減輕人類搬運時的負擔（平均外力），COLA系列都比之前的顯式目標估計、Transformer方法強很多。

而且其中以“領(lǐng)導者”思路設計的COLA-L比“跟隨者”COLA-F表現(xiàn)更突出，能更好地幫人類分擔負載、保持穩(wěn)定。

在真實世界中，面向不同類型物體（如規(guī)則形狀的箱子、柔性物體擔架等）和不同運動模式（如直線走、轉(zhuǎn)彎等），他們還測試了COLA的泛化性。

結(jié)果發(fā)現(xiàn)，COLA在所有測試場景中均實現(xiàn)了“穩(wěn)健的協(xié)作搬運”，相關(guān)定量結(jié)果如下：

除此之外，他們還找來了23名人類參與者，讓他們分別體驗與“COLA控制的機器人”和“其他基線方法控制的機器人”進行協(xié)作，然后通過問卷和動作傳感器來收集主客觀感受。

結(jié)果顯示，COLA方法在參與者的評估中表現(xiàn)最好，無論是在高度跟蹤還是平滑性方面都拿到了最高分。

“人機協(xié)作新范式”中國團隊造

最后再來看看COLA背后的團隊，成員清一色來自國內(nèi)。

三位同等貢獻作者均來自北京通用人工智能研究院：

Yushi Du，目前是香港大學電機及電子工程系剛?cè)雽W新生，由于個人相對低調(diào)所以網(wǎng)上資料很少。

Yixuan Li，北京理工大學計算機科學與技術(shù)學院博士生。

從已發(fā)表的論文來看，他對人形機器人、3D場景理解與導航、以及人機協(xié)作等領(lǐng)域感興趣。

Baoxiong Jia（兼通訊作者），北京通用人工智能研究院研究科學家。

本科畢業(yè)于北京大學，后獲得加州大學洛杉磯分校碩博學位，對計算機視覺、AI和認知科學的交叉領(lǐng)域尤為感興趣。

光是今年他就有多篇論文入選頂會，最新一篇關(guān)于統(tǒng)一力與位置控制的新論文就被CoRL 2025接收，并獲得口頭報告的機會（Oral）。

其他通訊作者分別為Wei Liang、Yanchao Yang和Siyuan Huang。

Wei Liang（梁瑋），北理計算機科學與技術(shù)學院教授，負責領(lǐng)導感知、交互與具身化實驗室（PIE Lab）。

她于2005年獲得北理計算機科學博士學位，對計算機視覺、用于培訓和教育的虛擬現(xiàn)實（VR）以及認知科學感興趣。

前面提到的Yixuan Li大概率是她的學生，因為二人多次合發(fā)論文。

Yanchao Yang，香港大學助理教授，由電氣與計算機工程系和數(shù)據(jù)科學研究所聯(lián)合聘任。

本科畢業(yè)于中國科學技術(shù)大學，后獲得沙特阿卜杜拉國王科技大學碩士學位，隨后輾轉(zhuǎn)至加州大學洛杉磯分校讀博，并且曾在斯坦福大學做博士后研究。

他對具身智能感興趣，致力于開發(fā)適用于低標注場景的自監(jiān)督/半監(jiān)督學習技術(shù)，以推動具身智能體的自主進化。

Siyuan Huang，北京通用人工智能研究院研究員，并擔任該研究院具身人工智能與機器人研究中心主任。

本科畢業(yè)于清華大學自動化系，曾獲得加州大學洛杉磯分校統(tǒng)計學博士學位，在讀博期間還去了DeepMind和 Facebook Reality Lab實習。

目前他還在北京大學任教，對計算機視覺、機器學習等感興趣，致力于開發(fā)通用機器人的泛化模型。

其余兩位作者分別為Yutang Lin和Pei Zhou。

Yutang Lin，目前是北京大學元培學院大三學生，同時在北京通用人工智能研究院實習。

其研究興趣集中在機器人技術(shù)、 計算機視覺和強化學習的交叉領(lǐng)域。

Pei Zhou，目前是香港大學電機及電子工程系博士生。和另一位同校同專業(yè)的朋友一樣，網(wǎng)上資料也相對較少。

對于這項新研究，由于拋棄了目前常見的一些人機交互方式，人們預測它可能帶來新的范式轉(zhuǎn)變。

你看呢？

論文：
https://www.arxiv.org/abs/2510.14293
項目主頁：
https://yushi-du.github.io/COLA/

參考鏈接：
https://x.com/siyuanhuang95/status/1980517755163185642