完成國內首次端到端智駕大模型路測，千掛科技實現「彎道超車」

西風 2024-01-22 13:33:22 來源：量子位

2023年，由ChatGPT所掀起的大模型風潮正在席卷科技圈，它充分展現了全新的技術范式所帶來的想象力、潛能以及背后的生產效率提升。

這股技術浪潮席卷至自動駕駛，智能汽車作為一個能夠承載、實現前沿的理想超級智能終端，能夠最大限度地展現新技術范式所帶來的變革。

2023年8月，特斯拉以直播形式向外界展示FSD V12測試版，該版本基于完全的端到端輸出，真正實現了從「感知」到「決策」的全流程融入一個模型中。

它成功走出依靠人工規則以外的技術通途，在全局視角下，展現出對感知、預測、規劃、控制和決策的高度統一，呈現出流暢的駕駛行為和卓越的體驗感。

當然，在這場新的技術范式變革里，參與者不止只有特斯拉；許多中國玩家們也朝著同一個突破口努力，貢獻自己的解題思路，甚至率先走向端到端技術應用的前沿。

自動駕駛的技術奇點時刻：「端到端智能駕駛大模型」

此前，證明自動駕駛的可落地性是整個自動駕駛行業需要回答的問題。

一方面，業界不斷減少激光雷達的數量，以無圖或輕圖的方式擺脫對高精度地圖的深度依賴，減少或擺脫以「堆料」的方式實現對外部的感知；另一方面，「漸進式」道路成為了業界的共識，以「高速」、「城區」等分區域落地的思路來證明自動駕駛的可實現性。

可以說，在端到端沒有到來之前的自動駕駛世界，是一個依靠天才工程師對于無數駕駛場景的觀察、歸納、提煉、總結的世界，同時也是一個依靠規則搭建的世界。這當中存在著一個殘酷的事實：場景是不能夠窮舉的。依靠人工規則對數據的總結提煉，不僅效率低而且泛化性差，這就導致了最后1%的長尾場景問題始終無法解決。

天才的工程師們始終在做打補丁的工作，縫縫補補一個由規則所搭建起來的世界，這樣的技術路線也導致自動駕駛的落地未如預期。

端到端技術的到來則有機會徹底改變這一局面，它打破了過去業界在開發自動駕駛系統時，感知與規劃分離，推翻一個由人為規則所搭建起來的世界。

這一明確的技術趨勢使得幾乎所有人都在賽跑：在美國，FSD12已進入用戶測試環節的特斯拉，是第一梯隊的排頭兵；而在中國，比亞迪投入4000人進行智能駕駛研發；理想也宣稱2024年端到端上車；而在剛剛結束的千掛科技2024年度產品發布會上，千掛科技公布了自己的端到端智能駕駛大模型在2023年底便已經進入公開道路常態化的測試階段。從公開信息上來看，這是中國首個完成端到端智能駕駛大模型公開道路閉環測試的選手——而許多企業此時依然將端到端僅僅作為一個「未來的重要規劃」。

端到端的技術想象力究竟在哪里？在千掛科技聯合創始人葉璨博士看來，端到端智能駕駛大模型對于自動駕駛至少有三點重要的意義：

• 第一點：端到端可以大幅提升數據的利用規模和效率，打破傳統自動駕駛研發當中，依靠人工規則對數據的總結提煉模式，解決效率低且泛化性差的痛點；
• 第二點：端到端能夠對數據進行自動化學習，由模型取代規則，打破自動駕駛泛化性的瓶頸，能夠覆蓋更多的駕駛場景；
• 第三點：在傳統自動駕駛當中，不同模塊都在關注和優化自身的代理指標，而這些指標存在不一致，端到端能夠解決多模塊甚至全鏈路聯合優化的問題。

另一方面，在這種全面learning化的AI系統之上，我們有機會將世界模型（world model）進一步引入自動駕駛系統中，復刻類似于GPT4.0 等大模型的模式，通過Transformer把海量的互聯網數據及對應的知識壓縮到模型參數當中，彌補現在自動駕駛系統對通用知識（world knowledge）的缺失。

當自動駕駛系統擁有了先驗知識以后，就能迅速提高泛化和推理能力，包括對長尾物體的識別、對場景的深度理解、對駕駛任務的拆解規劃等，這些能力的提升使得自動駕駛有機會邁向一個更為廣闊的世界。

因此端到端所勾勒出的是一個全新的技術圖景，打開了全新的技術范式，開啟一個產業變革的契機。如果說，端到端智能駕駛大模型對于乘用車而言，是一個體驗上的升級；那么，端到端智能駕駛大模型對于干線物流而言，更具經濟意義和效益。

千掛科技背后所面向的是一個龐大的干線物流市場，這個市場涵蓋770萬臺中重卡，市場規模超過4.6萬億，司機成本達到20%+，預計2030年卡車司機缺口達到15%以上。端到端智能駕駛大模型的應用，可以提高自動駕駛系統的泛化性，更好地處理長尾場景，有機會在長途干線雙駕變單駕的基礎上，進入無人駕駛，進一步提升利潤率，擁有無窮的想象力與現實意義。

「端到端智能駕駛大模型」的實踐賽事：深厚的技術根基

知道一個最優解并不難，難的是踐行一個最優解。

在V12亮相之前，特斯拉就做了非常多的「打地基」技術工作。其中就包括了2021年，特斯拉在AI Day推出基于BEV+Transformer的自動駕駛方案，這個方案相當于，打開了一個理解自動駕駛的全新范式。在過去的幾年里，「BEV + Transformer + 占用網絡 + 無圖化」幾乎統領了頭部車企的研發方向。

作為新一代自動駕駛技術企業，千掛科技一開始便出生于GPT時代；更幸運的一點是，作為一個年輕的技術公司，千掛沒有傳統大廠的技術包袱和組織束縛，在新的技術道路上能夠啟動得更為從容。

在千掛1.0階段，千掛通過「One Model」和「Scene-centric」的方式，攻克自動駕駛卡車中感知和預測兩道難題，有效解決高速干線場景下異形車、遺撒物識別等挑戰。

在感知方面，千掛采用「One Model」，即一個大模型完成感知任務，實現多模態數據的前融合和多任務學習的能力。

具體來說，多模態前融合即，將環視相機、激光雷達等多個傳感器采集的數據輸入到一個感知大模型中，通過模型實現空間融合和時序融合，獲得時空融合的特征。基于時空融合的特征，完成多個感知任務，能夠實現對障礙物的檢測與分割、路網結構（如車道線、可行駛區域）的實時感知等，達到更完備、更準確、更魯棒的效果。

在預測方面，千掛科技采用了「Scene-centric」架構，對所有道路參與者Agents進行聯合建模和推理，底層基于Transformer架構完成特征編碼與解碼。相對于Agent-centric的傳統架構，這種對所有障礙物統一建模的新架構簡化了整體流程，提升了訓練和推理效率，并且可以更好地理解道路參與者之間的交互關系，更好地處理蝴蝶效應。

憑借著「One Model」和「Scene-centric」奠定的技術基礎，千掛的自動駕駛卡車如今在京滬等物流大干線上順利實現了「周行萬里無接管」的目標。

另一方面，以「One Model」和「Scene-centric」為起點，千掛科技開始了新一代自動駕駛技術——端到端智能駕駛大模型的研發。在12月的GADS 2023全球自動駕駛峰會上，葉璨博士提出了千掛自研端到端算法框架 – AutraFlow。

千掛科技AutraFlow是面向新一代的自動駕駛技術，是從全面learning化和數據驅動的角度，進行設計研發的。據葉璨博士介紹，在研發過程中，團隊深入調研了大量端到端的前序工作，在此基礎上結合干線物流的業務場景特點，在算法、工程、數據等層面做了大量的優化工作。目標是讓端到端算法實際上車跑起來，能應對高速干線上的各種路況和場景，并最終在產品和業務中用起來。

整體上，AutraFlow是一個完全learning化的自動駕駛系統，系統的每個模塊都是基于Transformer的神經網絡模型，模塊與模塊之間采用embedding連接，擺脫了傳統的人類設計的抽象概念——比如障礙物的邊界框（bounding box）或預測軌跡，做到更高效、流暢、無損地傳輸數據。

葉璨博士進一步解釋，可以把整個端到端模型看作是一個大的神經網絡，在訓練時能夠實現各模塊的聯合優化，與此同時可以在中間階段，通過對embedding解碼得到具有相對明確語義的中間結果，便于理解和檢查，打破端到端的黑盒狀態，從而提升端到端算法的可解釋性。

目前，千掛的端到端算法AutraFlow，已經在城市快速路和城市間高速路等公開道路進行常態化的全功能閉環測試。近日，千掛科技也對外公布了一段2023年11月AutraFlow在北京市高級別自動駕駛示范區進行早期路測的視頻集錦。

在葉璨博士的技術規劃中，以端到端技術為基礎，未來將借助多模態大模型，把通用知識（world knowledge）引入到自動駕駛系統，基于人類的知識和經驗做出更好的駕駛決策，進一步提升自動駕駛系統的泛化性、可用性。

在千掛新一代自動駕駛技術的研發中， 大模型成為了最核心的技術變量。在葉璨博士的帶領下，千掛在自動駕駛領域的多模態預訓練中持續探索，將自動駕駛的多模態特征（圖像、點云等）統一在語言特征空間對齊，從而獲得泛化性更強的特征表達?；谡Z言對齊的多模態特征，為下游的多種感知任務提供基礎，使得系統更好地識別異型車、遺撒物等長尾物體，提高對駕駛場景的理解和泛化能力。

對于千掛而言，大模型已經成為自動駕駛數據閉環的核心，比如數據挖掘、自動化標注等應用。2023年3月起，千掛開始在華中、華北、華東、華南等區域的主要一級干線，為順豐、福佑等合作伙伴，提供常態化的物流運輸服務，單均超過1000公里。業務規模的擴展也積累了海量的高速場景數據，而這也成為千掛的核心競爭力。通過大模型對海量路測數據進行挖掘，可以釋放數據的黃金價值。目前，千掛超過95%的訓練數據都來自于大模型的自動化標注，而大模型進行模型壓縮后得到的車端模型，可以部署路測，獲得更多數據，進一步幫助迭代優化模型。

千掛正在跑通技術到產品的閉環

可以說，BEV重新定義了空間和時序，讓空間和時序統一，直接在「上帝視角」下完成了感知、規劃、控制、決策的高度統一。未來端到端將成為行業標配。

在這場技術加速賽當中，得益于葉璨博士及其團隊極其前瞻的技術嗅覺，千掛在夯實的技術基礎上啟動端到端的工作，在海量仿真測試的基礎上，在國內率先實現了公開道路的常態化的端到端智能駕駛大模型閉環測試，真正邁出了技術體系2.0的第一步，完成了從0到1的突破。在這場高手如云的比賽當中，千掛進入了第一梯隊，以國內領先的身位，跑出了自己的第一個里程碑。

在千掛這支技術尖兵團隊里，聚集了眾多在AI領域深耕多年的頂尖人才。葉璨博士畢業于美國卡內基梅隆大學（CMU）的人工智能專業，曾履職快手資深技術總監，負責了快手主站推薦、快手 AI 技術，以及快手私域和社交業務，在他的帶領下，快手實現了強化學習在工業界的首次大規模落地應用。

在葉璨博士背后，是一群有著在百度、快手、騰訊、商湯等技術巨頭豐富經歷的技術專家，和國內外頭部院校博士組成的技術團隊，在這場端到端的賽跑中，他們打通了感知、預測、規劃、控制、架構等技術的任督二脈，攻克了一個又一個的技術難題。

在技術的長板足夠長的同時，千掛在資本層面也取得長足的進展，近日，千掛科技順利完成 Pre-A 輪融資的新一輪交割；在商業化層面，千掛在中國東部的主要一級干線路段完成 300 余次的載貨運輸服務。

這家年輕的公司正在走出從資本、商業化、技術的全面正向閉環，以領先的技術優勢打開一個全新的物流實踐地圖，展現出技術如何驅動商業升級發展。