ICCV涌現自動駕駛新范式：統一世界模型VLA，用訓練閉環邁向L4

西風 2025-11-08 12:41:27 來源：量子位

一凡 發自 凹非寺

量子位 | 公眾號 QbitAI

智能汽車、自動駕駛、物理AI的競速引擎，正在悄然收斂——

至少核心頭部玩家，已經在最近的ICCV 2025，展現出了共識。

在端到端一統江湖但數據瓶頸開始成為新挑戰后，必須轉向強化學習，必須把云端生成式世界模型作為新基座。

春江水暖，異口同聲。特斯拉和理想汽車，都在AI頂會現場分享著最新實踐真知。

特斯拉自動駕駛副總裁Ashok Elluswamy在演講中透露，當前特斯拉正在用世界模擬器來評估車端模型。幾乎同時，理想VLA模型負責人詹錕也圍繞世界模型，在具身智能研討會做了題為《World Model：Evolving from Data Closed-loop to Training Closed-loop》（世界模型讓我們從數據閉環走向訓練閉環）的分享。

理想的觀點是，當前數據閉環已經不夠用了，VLA通往L4，需要訓練閉環。

而這種閉環的構建方法和背后原因，詹錕也在會后更進一步的對話中分享了理想的思考和實踐。

自動駕駛下半場？從數據閉環邁向訓練閉環

在ICCV現場，理想在開篇就提出，自動駕駛技術和大模型一樣，都進入了下半場。為什么這么說？

首先回憶一下上半場，端到端架構統一自動駕駛的技術棧，釋放了Scaling Law的潛力，讓AI能力快速提高。

但理想很快發現，AI基于模仿學習只能學到數據的平均水平，難以超越人類司機的能力，技術范式需要改變。幾乎同時，大規模算力基礎設施和高保真仿真環境技術也在快速成熟，為范式遷移創造了條件。于是理想決定從數據閉環邁向訓練閉環。

數據閉環大家都很熟悉了，就是數據采集、模型訓練、評估和部署的循環，但這無法覆蓋到一些邊緣場景。

訓練閉環則是在此基礎上，讓模型不斷通過環境生成和環境反饋來迭代，從而實現設定的訓練目標。

具體實現方法如下：理想在云端構建了一套世界模型訓練環境，來訓練具備先驗知識和駕駛能力的車端VLA模型。這是全球首個將世界模型與強化學習閉環落地于量產自動駕駛系統的完整架構。

由于行業對世界模型的定義有所不同，這里需要說明一下，理想所說的世界模型是一個全面的系統，包括環境的構建、智能體的構建、反饋的構建以及場景的多種推演。世界模型是理想此次在ICCV分享的核心內容，據介紹該系統主要具備三大能力：

• 區域級別的仿真和評估
• 合成全新數據
• 強化學習的世界引擎

三項能力協同，推動訓練閉環落地，接下來逐一進行討論。

首先是區域級別的仿真和評估，這是車端VLA能進行長時序擬真評估的關鍵。據介紹，理想目前采用重建和生成結合的仿真路線。

因為在理想看來，重建和生成各具優勢。重建能把操作對象完美還原，穩定性更好，但一般輸出的是靜態結果。

而生成則能輸出動態的變化信息，可以得到與操作對象完全不同的圖像，泛化性更強，但結果不可控。

所以理想決定將兩者結合進行仿真，與合作伙伴產出的研究成果相繼被計算機視覺三大頂會收錄。

比如理想此前參與的首個自動駕駛3DGS街景重建算法Street Gaussians，該工作被頂會ECCV 2024收錄。

還有入選本屆ICCV的工作《Hierarchy UGP: Hierarchy Unified Gaussian Primitive for Large-Scale Dynamic Scene Reconstruction》，由浙江大學、理想汽車和電子科技大學等單位共同完成。

Hierarchy UGP是業內首個大規模自動駕駛重建模型，在作者專有的數據集和公開的Waymo數據集上都實現了SOTA。

該模型分為根、子場景和圖元三層。其中根層是入口，然后子場景層將空間進一步劃分，并提取出各種元素。最后圖元層用定義在4D空間的統一高斯圖元（Unified Gaussian Primitive）將元素建模。這個方法可以同時對剛性和非剛性運動重建。

以上兩項成果主要圍繞重建工作，此外在重建和生成結合方向上，理想還聯合GigaAI提出基于補充生成新視角的重建范式ReconDreamer，相關成果入選了今年的CVPR。

盡管過去在重建方面取得了不錯的成績，但詹錕認為由于生成方式能低成本、大規模生成邊緣場景，而且數據很多樣，所以未來的仿真工作中，重建的占比將越來越少，對應地生成的占比越來越多，而且該趨勢不可逆。

探討完世界模型的第一層應用仿真，再往下來看合成全新數據能力，可以構建多樣的場景集，讓場景的數據均衡分布，最終實現更全面的評估，提高模型性能。

在理想看來，合成數據主要有場景編輯、遷移和全場景生成這三層應用。這項能力讓理想的數據更全面，從下圖中可以看出，過去依靠采集方式獲取的數據（上半部分），集中在晴天、普通道路和普通車輛等簡單場景，而現在與合成的數據結合后（下半部分），覆蓋場景更廣、極端案例更多、種類更加復雜，對應地模型能得到更全面的提升。

最后一層應用是理想認為最具挑戰性的強化學習世界引擎，這一層讓模型能在訓練環境中自由探索并獲得反饋，主要有五大關鍵因素：

• 世界模型、3D資產、仿真智能體：主要解決環境是否真實的問題
• 獎勵模型：對強化學習產生最重要的直接影響
• 性能優化：決定強化學習能否大規模應用的關鍵

在五個因素中，理想認為仿真智能體是目前最棘手的問題，完整地建模他車、他車和自車以及他車和他車的交互行為，甚至比實現單車L4級自動駕駛還要難。

詹錕在分享中介紹了兩種解決方法，一種是業內此前嘗試過的自博弈（Self-play），另一種是理想應用的范式。其通過給定目標函數和獎勵函數來約束多個智能體的行為，包括他們的個體動態和交互動態，同時通過調整獎勵權重改變智能體的行為分布，從而實現樣本多樣性。

上述一系列技術成果推動著理想的輔助駕駛能力快速進步，開始通過漸進升維方式，向L4邁進。詹錕在分享中還展示了一小段理想在園區內部道路的輔助駕駛能力。

率先洞察到行業趨勢，邁向訓練閉環，這背后得益于理想率先跑通的另一個閉環。

理想的另一個閉環？

理想在一眾造車新勢力中率先實現盈利，跑通商業化閉環，這是其近年科研成果不斷開花落地的重要原因。

2023年和2024年，理想全年研發投入連續超百億元，2025年上半年財報顯示，理想同期研發投入為53億元，預估今年仍將超過百億。

數百億砸向的不僅僅是上層的輔助駕駛算法，還包括底層的整車操作系統理想星環OS。星環OS首次上車于2024年，一方面實現了開發過程中的軟硬件解耦，將芯片的適配和驗證加快至4周內完成。

另一方面，星環OS上車后打通了整車割裂的多個模塊，提升了車輛整體的性能，以AEB（自動緊急制動）功能為例，實現該功能一般需要經過以下三個環節：

傳感器發現危險，上報中央算力控制器做出決策，最終執行器操作剎車。

整個功能鏈路經過了多個控制器，它們分別屬于不同域，信息在每個環節中傳遞，就像咱們工作中要協調多個部門，在傳統架構下會產生一些延遲。而星環OS采用跨系統架構設計，能夠讓不同控制器響應更快，協調更好。

據理想介紹，在車輛以120km/h速度行駛的情況下，星環OS相比傳統OS可以縮短7米剎停距離，7米距離，極端情況下很可能就是兩個相反的結果。

該成果不僅服務著130多萬名理想車主，在今年也開始惠及整個行業。2025年3月，理想星環OS正式亮相隨后開源，相關源碼逐步公開。

據理想介紹，自研星環OS投入資金超10億，上車后每年整體降低了幾十億BOM成本。所以說，這項成果開源給行業后也能夠幫助很多車企省去數億元研發預算，快速獲得整車OS能力。

自己開源，幫行業節流，一個圍繞星環OS的生態聯盟很快成形。2025年9月，長城汽車、英飛凌、芯馳科技、匯川聯合動力、欣旺達和德賽西威等16位產業鏈玩家與理想汽車共同簽署《星環OS社區章程》。

值得一提的是，理想的開源成果不僅得到了工業界的積極響應，也被學術界AI頂會認可。本屆ICCV就收錄了理想的開源數據集3DRealCar。

3DRealCar采用完全開放可商用的Apache 2.0開源協議，其包含了2500輛真實汽車，平均每輛車采集了200張高分辨率RGB-D圖像，是目前行業唯一的高質量、大規模真實汽車3D數據集，具有360度視角和不同光照條件。

由于數據集中的每輛車都提供了RGB-D圖像、點云、車輛解析圖和詳細標注信息，因此該數據集可用于各種2D和3D任務，用于重建各種場景。

缺乏高質量真實3D車輛數據，一直是一個令行業頭疼的問題。因此3DRealCar在開源后，很快就被行業頭部拿去用了，用行動表達了認可。

實際上，隨著理想這一年越來越多AI進展和成果浮出水面，那個大眾層面以奶爸車、家用車、車和家被人認知，以汽車產品體驗獲得口碑和銷量的理想汽車……

在技術層面早已呈現出另一面——

一個技術面貌的理想，一個AI面貌的理想，一個基于造車但超越汽車本身的理想。

AI頂會趨勢：有理想的汽車玩家必須逐鹿AI

有意思的是，理想內部也早已完成了自我追求刷新。

在大模型重塑浪潮中，理想率先完成了新階段定義——面向AI，成長為空間機器人企業。

這也是理想不斷挑戰成長極限的新目標，而且天時地利人和兼具。

首先，理想有基本盤儲備。造車基本盤穩固，在造車研發、制造、營銷和交付全流程完成了閉環飛輪，在新勢力浪潮中率先拿到晉級門票。

其次，AI技術儲備，機器人和物理世界交互的關鍵鑰匙VLA，此前已全量推送上車，驅動著車輛本體游遍大街小巷。

再次，預研方向和技術展現世界級水平，在全球華山論劍的AI頂會獲得認可。比如本次ICCV收錄的《RoboPearls: Editable Video Simulation for Robot Manipulation》，提出一個基于3D高斯潑濺的可編輯視頻仿真系統，專門用于機器人操作任務的仿真數據生成。

最后，還有理想構建的「研產閉環」能力，讓理想能夠將預研成果轉化為技術儲備。

據詹錕介紹，理想的研究課題來源，正是量產團隊在算法落地過程中遇到的真實瓶頸。理想做研究就是為了更好地交付，因此研究成果能快速應用在量產上，形成高效的研產閉環。

業內最熟知的案例就是《DriveVLM: The Convergence of Autonomous Driving and Large Vision-Language Models》，這是一個由VLM（視覺語言模型）和端到端組成的雙系統架構，被CoRL 2024收錄，去年就已落地量產，大幅提高了理想的輔助駕駛能力。

所以總結來看，盡管今年重注AI和機器人的車企，數不勝數。但像理想這樣，同時實現算法訓練閉環、跑通商業化閉環、建立研產閉環能力的玩家，少之又少。

特斯拉是一個，理想是另一個。

這份車企底色的AI公司名單，未來會很長……但現在，還只是開始，從學術、技術、產業再到大眾認知層面不斷破圈的開始。

不論如何，趨勢已經開始。士別理想三日，是時候刮目相看了。