英偉達讓機器人「做夢學習」，靠夢境實現真·從0泛化
利用AI視頻世界模型生成神經軌跡，學會執行22種新任務
鷺羽 發自 凹非寺
量子位 | 公眾號 QbitAI
「仿生人會夢見電子羊嗎？」這是科幻界一個聞名遐邇的問題。
現在英偉達給出答案：Yes！而且還可以從中學習新技能。
這是NVIDIA GEAR Lab最新推出的DreamGen項目。
它所說的“夢境中學習”，是巧妙利用AI視頻世界模型生成神經軌跡，僅需少量現實視頻，就能讓機器人學會執行22種新任務。
在真實機器人測試上，復雜任務的成功率更是從21%顯著提升至45.5%，并首次實現真正意義上的從0開始的泛化。
英偉達掌門人老黃最近也在Computex 2025演講上將其作為GR00T-Dreams的一部分對外正式進行宣布。
接下來就DreamGen構造我們一一拆解。
在夢境中學習
傳統機器人雖已展現出執行復雜現實任務的巨大潛力，但嚴重依賴人工收集的大規模遙操作數據，成本高且耗時長。
純粹的計算機仿真合成數據，也由于模擬環境與真實物理世界差距大，機器人所學會的技能難以直接應用到現實。
于是研究團隊提出要不試試讓機器人在夢境中學習？
這個想法也并非空穴來風，早在2016年MIT的一項研究就證實，嬰兒大腦會通過睡眠期間的神經活動進行自發學習。
由此誕生的DreamGen，核心思想就是利用成熟的視頻世界模型 （如Sora、Veo），對現實視頻進行虛擬合成，創建大規模逼真訓練數據。
新范式主要遵循四步走流程：
1、微調模型
通過目標機器人的遠程操作軌跡，捕捉其運動學與動力學特征，微調視頻世界模型。
2、虛擬數據生成
給定初始幀與語言指令后，生成描述預期行為的海量機器人視頻序列，既包含微調后的已知行為，也包括未知場景中的新行為。
當然在這一步也要過濾掉那些不聽從指令的噩夢。
3、虛擬動作提取
利用潛在動作模型或逆動力學模型 （IDM）解析偽動作序列，形成神經軌跡。
4、策略訓練
使用生成的視頻-動作序列對（即神經軌跡）訓練下游視覺運動策略。
通過DreamGen，團隊實現僅憑單個環境中的單一拾取任務的遙操作數據，就能在10個新環境中生成22個新動作的“夢境”或神經軌跡，例如傾倒、錘擊、折疊、熨燙衣物、舀取M&M‘s豆等，并訓練機器人“零鏡頭”下執行這些任務。
此外它還可以增強不同機器人系統（如Franka與SO-100）以及不同策略架構（如Diffusion Policy、GR00T N1）在接觸密集型任務中的表現，真正實現了從0到1的零樣本行為泛化和零樣本環境泛化。
實驗結果表明，利用單一動作數據學習新動作的成功率從11.2%升至43.2%，在單環境訓練下，全新環境中的成功率也從0%達到了28.5% （傳統方法幾乎無法完成）。
以RoboCasa為基準的仿真驗證中，神經軌跡規模達到人類演示數據的333倍，策略性能隨軌跡數量呈對數線性提升。
在Fourier GR1、Franka Emika和SO-100機器人等真實平臺上復雜任務的成功率也提升顯著，均證實了DreamGen的有效性。
另外團隊還開發了首個機器人視頻生成評估基準DreamGen Bench，通過指令遵循度（IF）和物理合理性（PA）兩項指標，評估模型生成數據的質量。
英偉達的GR00T-Dreams藍圖
英偉達的野心還遠不止于此，DreamGen作為英偉達進軍物理AI的宏偉藍圖的一部分，將協助新工具GR00T-Dreams從單個圖像中生成大量合成運動數據，并通過壓縮動作令牌加速機器人行為學習。
這意味著GR00T-Dreams將會讓GR00T N1.5開發從3個月銳減至36小時，作為英偉達開放、通用、完全可定制的類人推理和技能基礎模型的首次更新，GR00T N1.5將部署在Jetson Thor上，預計于今年底推出。
老黃談到這一發展時表示：
從機器人的人工智能大腦，到用于實踐的模擬世界，再到用于訓練基礎模型的人工智能超級計算機，NVIDIA為機器人技術發展的每個階段提供了基礎模塊。
也許正如網友所說，英偉達一直走在造夢的路上：
論文鏈接：https://arxiv.org/abs/2505.12705
項目鏈接：https://research.nvidia.com/labs/gear/dreamgen/
參考鏈接：
[1]https://x.com/DrJimFan/status/1924819887139987855
[2]https://x.com/jang_yoel/status/1924805253993488595
[3]https://www.youtube.com/watch?v=TLzna9__DnI&t=5059s
- 知名數學家辭職投身AI創業：老板是00后華人女生2025-12-06
- Runway Gen-4.5刷屏發布，把重量塵土和光影都做對了，網友：顛覆2025-12-02
- 靈光 “一閃”，330萬個“閃應用”已創建2025-12-02
- AI也會被DDL逼瘋！正經研究發現：壓力越大，AI越危險2025-12-01
相關閱讀
