機器人成了我的遛彎搭子！室外復雜地形難不住，還能上“健身房”跑兩步

一水 2024-08-12 13:49:39 來源：量子位

別光只看Figure 02了，國產機器人最新成果曝光，大秀肌肉！

就在北京亦莊，竟有這么一家人形機器人“健身房”。

這里的機器人率先實現在跑步機上訓練，一小時能跑6km的那種：

而這只是熱身，跑完還要爬樓梯：

到了室外，機器人專用道也安排上了，30度高溫下不能停：

時不時還要來點草坪、斜坡等復雜地形上難度：

它就是今年四月份在國內首發的純電驅全尺寸人形機器人天工，由北京具身智能機器人創新中心研發。

剛問世那會兒，天工主打的還是擬人奔跑，短短幾個月，本事又長了不少。

除了上面所展示的在跑步機上奔跑、戶外復雜地形行走，天工現在還加持了大模型，可中英文對話，還能聽從人類指令抓取物品。

最近，2024世界機器人大會就要舉辦了，量子位提前打聽到，整合“不只”這些能力，進化版“天工”將在大會上亮相。

而且到時候天工會換“馬甲”，裝上手，還會升級大關節。

關于進化版天工的能力，我們和其運動控制負責人郭宜劼聊了聊。

全身42個自由度，大模型加持

升級后的天工功能參數一覽如下：

和之前相比如下表，身高163cm，體重由原來的43kg增加到了56kg。

全身自由度增加到了42個，相比之前單只手臂自由度由3個增加到7個，頸部也增加了3個自由度。

△初代天工功能參數

此前天工“沒有手”，這次也裝上了。單只手重達600g，具有6個自由度，觸覺傳感器精度在0.3N以內，單指的抓握力大于1kg。

而且天工還配備了四個全場景雙目結構光3D相機、高精度六維力傳感器，可實現360度環境感知。

通過對環境的感知，天工能適應復雜地形，在草地、沙地、丘陵、碎石里移動，應對30cm的地形差也不是問題。

奔跑起來穩定性也提升了，速度可達6km/h。

除此外，天工的另一大升級是搭載了大模型，具備了多模態操作能力。

現在能開口說話和人類交互，支持中英文。

還能聽從人類指令抓取物品：

【此處無法插入視頻，遺憾……可到量子位公眾號查看～】

而這些只是其中的一部分，世界機器人大會上還會有更多展示和驚喜。

天工首秀那會兒，主打擬人奔跑單項能力。從目前的進化版來看，結合了感知交互，可以說，天工已經初步形成了具身智能體形態。

研究具身智能規劃決策和任務執行，也正是天工背后團隊目前的關注重點。

打造具身智能體

以具身智能為基礎，目前在技術實現上，研究團隊重點提升了天工的視覺感知能力。

之前天工行走是“盲視”狀態，需要用腳掌對地面進行試探，而現在基于視覺感知，面對較大地形差，天工可以通過提前預測做出抬高腿等動作來應對。

具體方法上，團隊基于強化學習，自研了運動技能學習方法——基于狀態記憶的預測型強化模仿學習。

此前量子位也有介紹，該方法融合了傳統方法平穩性高的優點，以及強化學習泛化性強、不依賴環境的優點。

既解決了強化學習帶來的定位精度差的問題，又解決了模型預測控制方法當中對于非結構化環境適應性差的問題。

天工運動控制負責人郭宜劼也向量子位透露，之前團隊在訓練時發現，一些網絡在實際運行過程中可能會很容易受傳感器漂移的干擾，有時會表現出姿態的不穩定等情況，由此提出了這種方法。

初代天工發布后，團隊在接下來的幾個月的訓練中，為天工加入了更多的歷史狀態記憶，使其能夠對當前的自身狀態和環境地形進行估計，從而有更好的泛化效果。

郭宜劼還表示，目前具身智能要解決的是“Action”任務規劃執行這方面的問題。

無論從任務種類還是復雜度上來說，讓它能夠覆蓋人類日常工作生活中大部分的任務。它能干的活種類變多，大腦再去配合起來就能夠實現更復雜、更長線的任務。

對于實現復雜任務規劃，他分享了幾條技術路線：

像是特斯拉機器人，主要采用的是收集數據，然后用數據進行監督學習，針對比較單一固定的場景訓練機器人自動執行。這種方法雖收效比較快，但泛化能力差一些。

還有一種是在仿真環境中進行強化學習訓練，主要依賴的是在一個環境中進行不斷地試錯，自我學習。這種方法遇到的主要問題是，怎樣從仿真環境遷移到真實的物理場景中。從感知層面到和具體的物理交互，仿真和真實場景都有很大的差別。

另外一種方法是直接用大模型輸出一些任務點，然后用傳統的運動規劃去執行這些任務。

而天工研發團隊的方案是將不同的方法融合，下一步要打造出一個元技能庫：

現在這個階段我覺得是要擴大機器人的技能庫……包括這幾種方法在內，每一種方法都可以用來解決不同的任務場景。所以說技能庫里每種技能可能是使用不同的方式來實現的。

解決國內機器人“共性”問題

再來說說天工背后公司，量子位此前也有介紹過。

北京具身智能機器人創新中心（下稱創新中心），原名北京人形機器人創新中心，去年11月成立，由小米機器人、優必選、京城機電、亦莊機器人等聯合組建。

他們瞄準的是解決具身智能機器人的關鍵共性問題，避免國內機器人行業重復簡單造輪子的過程。

創新中心聚集了一批頂尖科學家和工程師，還牽頭成立了創新中心專家委員會和北京人形機器人產業聯盟。

創新中心專家委員會由中國科學院院士喬紅擔任主任，通用研究院院長朱松純、智源研究院理事長黃鐵軍、信通院總工程師魏然擔任副主任。

今年四月份，創新中心推出了“天工”通用機器人母平臺，即具身智能硬件開源平臺。

“天工”平臺可實現靈活擴展軟、硬件等功能模塊，提供了一系列開放接口，科研機構及機器人相關企業可基于“天工”母平臺軟硬件功能進行二次開發。

當時他們就預告了將著眼于依靠大模型驅動，探索通用具身智能平臺。而現在多能具身智能體母平臺“開物”，也逐漸浮出水面，正緊鑼密鼓研發中。

“開物”平臺著眼于具身智能大模型及框架，聚焦多模態的關鍵法、具身智能仿真應用建設及工具鏈整套體系建設。

圍繞“開物”，團隊正在打造大規模具身智能數據集，用來支撐超70億參數視覺語言多模態大模型訓練調優，實現機器人中文互動、開放問答、場景視覺理解、具身操作等能力。

計劃是，在2025年底前發布200萬條高質量數據。

話說回來，最近人形機器人領域有不少新進展傳出。

優必選透露人形機器人已在極氪工廠打工；特斯拉官圖顯示Optimus已進廠挑揀電池；OpenAI加持的機器人Figure 02，進駐寶馬打工……

雖然“天工”和它們不是一個賽道，主要是解決具身智能的共性問題，但……也沒能逃過搬磚的命運。

據了解，它正初步在一些場景中進行數據采集試訓，比如重復性比較高、枯燥乏味的搬運分揀物品，在危險場景如礦井、工地進行巡檢、搜救……

2024世界機器人大會馬上將于8月21日在北京經濟技術開發區開幕，期待進化版“天工”的家人們可以碼住了，聽說創新中心會有一個精彩的展位，可以看到“天工”機器人家族的集體亮相，還會辦一個分論壇~

One More Thing

為啥要讓機器人在跑步機上跑？大伙兒猜猜看（doge）。

答：除了對平衡性要求更高外，跑步機速度可控，能夠比較準確客觀測試；機器人跑步實驗需要占用比較大的場地，跑步機省地方啊。