宇樹：開源機器人世界大模型！
能預見機器人動作結果了
西風 發自 凹非寺
量子位 | 公眾號 QbitAI
一覺醒來，宇樹帶著最新開源模型來了！
這次開源的是一個世界模型-動作架構，名叫UnifoLM-WMA-0。它的核心之處在于擁有一個世界模型能夠理解機器人和環境相互作用時的物理規律。
咱先瞧瞧真機部署后的表現。
玩堆積木，穩穩當當。重點是，右上角小窗口呈現出世界模型對后續動作視頻的預測，能發現和實際操作情形十分吻合。
兩只機械臂搭檔干活也可以：
像收納文具這類稍精細的活兒，都能輕松拿捏：
將相機放入包裝盒，世界模型的預測同樣和實際操作幾乎無差：
視頻鏈接：https://mp.weixin.qq.com/s/z4IQi1hSi7_LAg5_g3mXOQ
官方稱，UnifoLM-WMA-0屬于UnifoLM（Unitree機器人統一大模型）系列成果，是團隊專為通用機器人學習量身打造的，能適配多種機器人本體。
目前UnifoLM-WMA-0訓練代碼、推理代碼、模型Checkpoints通通開源，GitHub迅速攬獲100+Star。
網友看后紛紛點贊。
如何訓練的？
官方介紹了模型的訓練策略，具體流程和設計思路可以拆解成這幾步來看。
首先，團隊先拿Open-X數據集對視頻生成模型做了針對性微調，核心目的就是讓模型原本的生成能力適配機器人的實際作業場景。
至于微調后模型在測試集上的實際生成效果，是這樣嬸兒的：
團隊進一步提出了基于世界模型打造的策略架構，即UnifoLM-WMA-0。
這個架構里的世界模型不是單一模式運行，而是支持兩種核心功能模式。
一種是決策模式，簡單說就是能提前預測機器人和環境進行物理交互時的關鍵信息，輔助策略更精準地生成下一步動作。
另一種是仿真模式，主要是根據機器人已經做出的動作，生成高度還原真實場景的環境反饋，相當于給機器人模擬出一個逼真的交互環境。
針對這兩種模式，團隊在下游任務數據集上分別做了后訓練優化。
以下是完整的系統架構及工作流程：
視頻鏈接：https://mp.weixin.qq.com/s/z4IQi1hSi7_LAg5_g3mXOQ
團隊用了宇樹科技公開的五個開源數據集，最終完成了全流程訓練。
從測試結果來看，這個模型要是當作仿真引擎來用，效果突出。
只要給它“當前場景的圖像”，再加上一定數量的“機器人未來要做的動作指令”，它就能實現可控的交互生成，生成的內容能精準匹配預期。
生成結果和原視頻的對比情況，大家可以通過下面的圖直觀感受：
面對長程任務的持續交互生成也能應對，生成結果和原視頻的對比如下：
GitHub：https://github.com/unitreerobotics/unifolm-world-model-action/tree/main
項目主頁：https://unigen-x.github.io/unifolm-world-model-action.github.io/
- 商湯分拆了一家AI醫療公司，半年融資10億，劍指“醫療世界模型”2025-12-02
- “豆包手機”在二手市場價格都翻倍了……2025-12-05
- OpenAI首席研究員Mark Chen長訪談：小扎親手端湯來公司挖人，氣得我們端著湯去了Meta2025-12-03
- 讓大模型學會“高維找茬”，中國聯通新研究解決長文本圖像檢索痛點｜AAAI 2026 Oral2025-12-01
相關閱讀
