百度最新無人車技術低調發布！6位大牛，人均至少T11

賈浩楠 發自 副駕寺

智能車參考 | 公眾號 AI4Auto

“CTO級無人車大牛不稀缺，我們這也就百八十個吧”。

可能只有百度Apollo有資本這樣說。

而且也許也只有Apollo有膽量這么做：

年初一語，年末兌現。

百度無人車技術天團集體現身，從軟件、硬件、系統全方位分享展示自動駕駛從技術到商業的進展。

這些以往在幕后的大牛都是誰？他們分享了哪些東西？

如何從Apollo這面“鏡子”，一窺無人車發展的最新態勢？

（發言在未改變原意的基礎上，僅做流暢性編輯）

百度如何設計自動駕駛技術體系？

百度自動駕駛首席架構師陳競凱，從整體圖景上分析了Apollo自動駕駛系統的核心原則和架構。

自動駕駛系統應該如何設計？一直都有兩個思路：一個是偏學術的，傾向于統一建模，端到端的解決問題；另外一個思路是偏向工程的，去拆分系統，分治突破。

端到端的建模非常的簡潔優美，從長遠來看，也是一個非常有前途的方向。

在這種思路下，在其他的領域里面也看到了一些不錯的進展，比如說技術模型在NLP領域里面已經取得了統治性的地位。在圖像領域，大模型也給我們帶來很多的驚喜。同樣，我們對于這種端到端的大模型的解決方案， 在自動駕駛系統的發展也充滿了期待。

這個方案的問題在于存在很大的不確定性。我們不能確定它究竟何時成熟，是兩年還是十年，這是一個問題。

所以我們目前的主要的思路還是沿著工程化的路線推進，同時也沒有放棄我們在端到端方面上的一些探索。探索的過程中間，也會把階段性的成果應用到一些路線上。

車載系統大體分成四個部分：地圖、感知、預測決策、規劃控制。

地圖系統不管是離線或在線地圖，總是自動駕駛系統的底層表達。離線地圖是超視距整體性的感知，它在自動駕駛系統中發揮著重要的作用。

離線地圖制作成本是不是很高？會不會成為障礙？在實踐過程中間我們發現，離線地圖并不是一個高成本的障礙，反而是前進的助力。

問題在于地圖的實時性才是它的問題，而不是它的更新率或者它的成本。

目前的實踐中，車端實時生產的地圖和規模化生產的地圖其實上還是有質量上的一些差距。需要通過我們自動駕駛策略去適應這兩種地圖差異。但這種適應對自動駕駛能力來說是有折損的。

所以我們認為，在目前的條件下，一個規模化生產的高精地圖還是不可或缺的，實時地圖更多的會被我們用在應對現實世界的變更，這時候我們會把自動駕駛的策略調整到一個更加安全謹慎的方式。

感知系統目前在整個業界的發展思路還是比較統一的，基本上是一個數據加模型驅動的系統。

主要的分歧在于傳感器的配置。

我們的判斷是這樣的：應該去充分發揮各個傳感器的能力，先要把事情做成，然后再去追求更好、更低成本。具體實踐中從后融合的方案轉向前融合的方案。

前融合使得我們能夠充分地發揮各個傳感器的優勢。另外，我們也會充分的利用百度大模型技術方面的積累提升感知能力。

預測決策系統直接面對復雜外部環境的一個非常重要的部分。

百度最初的自動駕駛系統，預測和決策是分開的。預測帶有自標注的任務，一直都是數據驅動的，決策、規劃、控制，當初沿用的都是一些偏規則的傳統方案。

基于規則的方案，通常是把遇到的問題劃分成各種場景，在每個場景下，針對不同出現的問題，再做相應的處理。為了不讓各個規則之間發生沖突，通常會仔細地限定每個規則的作用范圍，一層一層地拆分下去，如果做得好的話，我們會形成一個類似樹形的拆分結構；如果處理得不好的話，就會變成一個補丁摞補丁的系統。

上述規則系統在最初的時候，可以最大化人類的經驗和知識，迅速地提升自動駕駛能力，但是隨著時間的推移，有兩個問題不可避免。一是策略分叉；二是面對城市擴展、場景變化的時候，需要調整規則去適應。

因此，百度認為學習性的PNC是實現全無人的一個必由之路。陳競凱表示：“預測和決策其實是一個問題的兩面，預測是決策的自我預言實現。所以我們構造了一個預測和決策的多任務系統，聯合處理這個問題。我們對信號燈、道路元素等都做了一些建模和交互的處理，最后形成預測和決策的一個結果。”

百度的最終目標也不是用學習系統去完全替代規則系統。陳競凱稱，一方面因為交通系統本來就是一個靠規則約束的系統；另一方面也需要規則去守護最后的底線。

仿真系統方面，百度追求的是做一個有用的仿真系統，要能夠滿足對于問題迭代的需求。為此，其做了大量工作。如Worldsim系統，使得能夠批量地去構造大量的場景，去驗證在各種場景下的綜合能力；L2W系統，能夠精確地復現道路的場景，幫助其去分析和驗證路上的問題。

另外，從一個城市向另一個城市遷移過程中，數據統計、數據分布是有變化的，這時候要求我們的自動駕駛能力、策略要做一些細微的調整，整體的場景庫也對遷移過程提供很多保障。

仿真系統在自動駕駛技術迭代的過程中間發揮了非常重要作用，是技術能力提升的重要支撐。

百度自動駕駛地圖，有什么不同？

百度人工智能技術委員會主席黃際洲介紹了百度自動駕駛地圖的相關進展。

近期有一部分L2智能駕駛在提”重感知，輕地圖”這一主張。這主要原因是很難翻越高精地圖面臨的“三座大山”，即資質壁壘、自研壁壘和供給稀缺。我們的觀點是輕成本、重體驗的地圖對自動駕駛至關重要。

對于L4的自動駕駛而言，要達到99.99%以上的成功率，高精地圖更是其中必不可少的核心能力之一，并要做到“把成本做輕、把體驗做重”。

“輕成本”主要從自動化數據融合和地圖自動化標注兩方面展開。

自動化數據融合，是高精地圖大規模生產的重要基礎和核心能力，其目標是全自動地將多次采集到的傳感器的數據，比如說激光點云或者道路的影像，在統一的坐標系下進行融合，主要的挑戰就在于這個融合的絕對或者是相對的精度要達到厘米級。

為了實現上述目標，百度通常先將這些數據按照塊或者道路進行劃分，在每個分塊里首先進行數據的融合，然后再對塊之間進行高精要素的串線和幾何的調整，以增強塊間高精要素的連續性。

如何保證上述所得到的基礎數據都是完全對齊的？百度的解決方案是按照數據空間分布劃分去構建多層級的圖結構，確保全圖的精度是一致的。這其中主要的技術創新有三個方面：第一是多層級的圖優化；第二點是場景化關聯和匹配；第三是基于學習的匹配算法。

地圖自動化標注，指的是基于點云和圖像數據自動生成高精地圖的過程，是顯著降本增效的核心驅動。

為了達到高自動化率，百度在要素識別、矢量提取、自動建模等關鍵步驟上都進行技術創新。

其中，要素識別上，采用的是多層級的點云識別方式，識別的結果要遠遠優于一次識別的結果；矢量提取上，對點云和圖像中提取的矢量要素進行后融合，保證要素的高精度和高召回；自動建模上，基于車道級的拓撲模板進行矢量要素匹配，極大地提高拓撲的生成以及車道線串接的準確性。

重體驗部分，則主要包括安全、舒適和高效三個方面。

安全方面，百度采用的方案是融合車端感知數據與多源地圖來實時地生成在線地圖；舒適方面，百度引入駕駛知識圖譜來實現；高效方面，百度解決方案是，基于百度智能交通以及百度地圖，構建交通大腦，賦能自動駕駛出行。

此外，為了保證更好的自動駕駛體驗，百度提出了Apollo自動駕駛地圖，主要分為四層：

第一層是靜態層，這一層也是傳統高精地圖內容，包括車道級的數據、拓撲數據以及輔助車輛定位的定位數據。

第二層是動態層，包括實時的交通的事件、實時的交通的態勢以及實時的環境的變化，這需要依賴于海量的時空數據以及車路協同等。

第三層是知識層，最核心的是駕駛知識圖譜，以及與自動駕駛體驗強相關的安全駕駛、舒適駕駛行為與知識等。

第四層是駕駛層，知識與駕駛策略的融合，實現深度融合地圖和感知、決策、控制應用；而數據實時感知的融合，數據閉環還有實時更新，實現了高鮮度的地圖的數據。

Apollo自動駕駛地圖已經實現了規模化的應用：

首先，蘿卜快跑快速發展，累計訂單量達到140萬單；其次，提供智能駕駛全場景體驗ANP領航輔助駕駛解決方案；最后，百度地圖率先推出了城市車道級導航、車位級導航、智能紅綠燈等自動駕駛級導航產品功能。

感知系統：大模型成核心驅動力

百度計算機視覺首席架構師王井東，介紹了百度自動駕駛感知系統的情況。

百度自動駕駛感知經歷了兩代。

感知1.0的百度經過了三個階段：第一階段主要依賴激光雷達點云感知，輔助紅綠燈的識別，同時利用了毫米波目標陣列；第二階段增加了環視圖像的感知，與激光雷達點云感知形成兩層感知融合，提升了識別效果；第三階段，自研了毫米波點云感知算法，形成了三層感知的融合。

這些多模感知實際上用的是后融合方案，它通常需要規則的方法，是不可學習的，因此相對來說泛化能力不夠。

感知2.0主要部分是多模態前融合端到端的方案，在點云和圖像的表征層次上進行融合。與此同時，遠視距的視覺感知，通常在200米以上視覺的感知效果相對比較好；近距離采用了魚眼感知，從魚眼感知實現了freespace的預測。

感知環境，需要豐富和高質量的數據，基于此，百度感知2.0還利用大模型進行數據挖掘和數據的自動標注。

而在自動駕駛感知里往往會遇到一些挑戰。一是遠距離的視覺感知問題；二是在點云空間去做3D的標注非常困難；三是長尾數據挖掘問題，包括少見的車型、各種形態、各種姿態行人，以及低矮物體、交通、施工元素等。

如何解決上述三種挑戰？百度的方法是利用大模型技術，來提升自動駕駛感知能力。

首先利用文心大模型自動駕駛感知的技術，來提升車載小模型的感知能力。同時在數據方面，利用了文心大模型圖像弱監督預訓練模型來挖掘長尾數據，提升模型訓練效果。

在自動駕駛感知模型訓練方面，百度采用的是半監督方法，充分利用2D標注和沒有3D標注數據。

具體方法是采用迭代的自訓練方案。首先在既有2D又有3D的訓練數據上，去訓練一個感知大模型出來，然后給沒有3D標注數據打上3D偽標注。再繼續訓練一個感知大模型出來，如此迭代，逐步把感知大模型效果提升，同時也使得3D的尾標注的效果越來越好。

上述感知大模型不僅用于視覺，也用于點云，也用于多模態端到端方案。

大模型已經成為自動駕駛能力提升的核心驅動力。

Apollo數據閉環

百度自動駕駛專家李昂，分享了百度Apollo在數據閉環方面的思考。

隨著自動駕駛的規模化落地，在城市道路中行駛的無人駕駛車會不斷遇到新問題和意想不到的新場景。自動駕駛需要持續學習，而數據閉環是其實現持續學習能力的重要基礎架構。

面對大規模數據隨之帶來的存儲、標注以及計算量壓力，百度Apollo提出了「高提純、高消化」的數據閉環設計思路。數據提純路徑利用車端小模型和云端大模型，實現高效率數據挖掘和自動化標注。

數據規模不是唯一標準，數據純度也是重要考量；數據純度即為單位數據的信息量，數據挖掘與標注是提高數據純度的兩個手段。百度正是根據這樣的思路，設計了自動駕駛的數據提純通路。

而且，百度Apollo發現，數據提純效率很大程度由推理引擎的效率決定，而推理引擎效率又可以分為數據讀取速度以及模型的推理和計算速度，后者可以通過分布式方式來提升。

為此，Apollo與百度飛槳團隊合作，將百度自研的PaddleFlow數據緩存的基礎架構集成引入數據閉環平臺，使推理引擎的數據讀取效率獲得10倍以上的提升。

此外，全量數據回傳無法支撐規模化，數據提純的呈現方式實際上是云端到車端模型和策略的雙重降維。

獲取高純度的數據后，另一個重要的問題就是如何高效率、高質量地消化這些數據，將其轉化為車輛的自動駕駛能力。數據分布不斷變化、多個模塊相互關聯、自動化效率，是無人駕駛系統的復雜性給數據消化帶來的三個挑戰。

為應對上述問題，百度是通過數據、模型、指標的集中式、端到端整合，來實現高質量的數據消化，其基于持續學習與AutoML概念在數據閉環里設計了一套自動化訓練引擎，并做了多模塊聯合優化以及數據分布方面的一系列工作。

以行為預測為例，其實可以通過問三個問題來映射所有的數據到不同的場景，而這三個問題，可以分別是主車的行為、障礙物的行為，以及障礙物的類型。當對每個場景的數據進行統計，就可以最終獲得整個數據集所對應的數據分布描述。

總結來看，百度提出了以高提純、高消化為核心驅動力的數據閉環的設計思路。高提純通過小模型和大模型的車云協同，實現高效的數據挖掘和自動化標注；高消化通過數據、模型、指標的集中式、端到端整合來實現。

除此之外，訓練、推理以及數據分布是在數據消化中可以形成有效的一個反饋機制，進一步提升數據消化的整體效率和效果。

百度造芯，如何支持自動駕駛？

昆侖芯科技CEO歐陽劍，介紹了百度在自動駕駛芯片方面的布局和進展。

昆侖芯已經量產了兩代，第三代、第四代芯片在研發過程中。

其中，第一代AI芯片采用14納米的工藝、2.5D的封裝，這款芯片剛量產就在百度數據中心里部署了超過2萬片；第二代AI芯片為7納米工藝，采用了XPU第二代的架構。截至2022年，第二代昆侖芯已經在數據中心、工業、自動駕駛等領域進行了大規模的部署和落地。

昆侖芯產品有三點優勢：第一，昆侖芯是為數不多能夠在真實系統上大規模部署和應用的AI芯片；第二，其生態完備性是國內做的最好的，跟國內所有的處理器、操作系統都進行了適配；第三，它靈活易用，提供的SDK，給予開發者非常低的學習門檻和非常快的迭代效率。

截至目前，昆侖芯已經在車路協同、物流系統、智慧交通等與交通相關領域落地。具體到自動駕駛方面，昆侖芯二代芯片已經在百度RoboTaxi系統上做了完全適配。

我們用昆侖芯二代芯片跟業界最主流顯卡做了性能對比，性能優于這個顯卡，而功耗只有不到它的一半。我們也跟主流的AI加速卡做了性能對比，是它的兩倍以上，同時我們也做了一個端到端的測試，在不到它的一半的功耗之下，取得了比較領先的性能。

除了AI的模型，在一些控制規劃模型上，昆侖芯也取得相對一些顯卡更好的性能效果。

不止與RoboTaxi駕駛系統適配，昆侖芯也在一些仿真系統和在路測系統上做了測試，效果達到客戶的要求。

今天的高階自動駕駛計算系統，與數據中心系統有非常相似的地方，它的算法非常多元，迭代速度非常的快，復雜度越來越高。這對芯片的要求也越來越高，它一定是要求非常好編程、好移植，否則那些先進的算法沒法很快迭代到車上來使用，系統也就沒法保證領先性。此外，穩定性也要非常好這不僅包括硬件，還包括整個軟件，乃至整個系統。

在車載計算系統上，過去有觀點認為它是相對封閉的系統，要做非常深度的軟件和硬件定制。五六年前在云端AI芯片上也一樣有人在講這個觀點。但今天回頭來看，過去五六年提上述觀點的AI芯片公司全部已經不在市場里。

因此，未來車載計算系統一定是相對開放，能夠給用戶提供高算力、高通用，可以滿足客戶個性化需求的計算系統。

未來，昆侖芯也會考慮面向高階自動駕駛系統定制車規高性能的SOC。

商業落地：L4降維真的能走通？

百度智能駕駛事業群組技術委員會主席王亮，介紹了Apollo在L2、L4方向的商業化進展，以及如和將兩種不同的技術棧，統一在一個數據閉環之中。

百度L4自動駕駛運營測試里程累計超過4000萬公里；蘿卜快跑在多個城市開啟對市民的運營，累計訂單超過140 萬；今年8月百度在武漢和重慶國內首次實現“全無人商業化運營”，這是中國自動駕駛歷史上的重要里程碑。

輔助駕駛方面，目前國內市場智駕產品以高速領航輔助駕駛和記憶泊車為主。有數據顯示，中國居民日常出行中，城市通勤占比在70%以上，有城市自動駕駛能力的L2+產品將是未來市場的主流趨勢。

百度將在2023年面向市場推出一款L2+領航輔助駕駛旗艦產品ANP3.0，將支持復雜城市道路場景，并且銜接融通高速和泊車場景。

智能駕駛計算單元，采用的是百度自主研發的智駕域控制器，搭載了2顆英偉達Orin-x芯片，AI算力為500 TOPS；傳感器方面，部分搭載了800萬像素高清攝像頭，視距可以達到400米。同時搭配半固態激光雷達，每秒產生百萬以上的點云。

ANP3.0以視覺方案為主，同時系統也搭配激光雷達。ANP3.0視覺、激光雷達兩套系統獨立運作、低耦合。

ANP3.0視覺感知技術始于2019年啟動的Apollo Lite項目，采用了“單目感知”加“環視后融合”的技術框架。

今年百度對視覺感知框架進行了升級，推出了第二代純視覺感知系統Lite++。

Lite++通過Transformer把前視特征轉到BEV，在特征層面對相機觀測進行前融合后，直接輸出三維感知結果，并融合時序特征實現運動估計Learning化；模型設計層面，基于transformer結構，實現時空特征融合。

在空間融合階段將位置編碼變換從全局BEV空間轉換到局部相機坐標系，消除相機內外參差異帶來的差異。時序上盡可能多的融合主車運動與多幀信息，提升障礙物檢測穩定性。同時基于時序特征，障礙物的速度、意圖、未來軌跡預測等關鍵信息都可以進行端到端的輸出。

此外，Lite++對后處理的多相機融合依賴更低，算力需求更輕，泛化性更好。

ANP3.0的目標是讓自動駕駛能夠隨時隨地的開啟，技術路徑是用好百度多年在高精地圖領域積累的優勢；結合百度對自動駕駛算法的理解，定義了為智駕規模化泛化而生的“輕量化”自動駕駛地圖。在降低地圖制作成本的同時，通過建設在線地圖學習能力，用算法應對現實變更、冗余地圖的標注問題。

目前ANP3.0已進入北上廣深多地泛化測試階段，將在2023年夏天隨著第一個客戶車型上市與大家見面。

隨著L4規模化商業試運營的到來和高級輔助駕駛產品的普及，百度如何利用L2+產品反哺L4技術，加速Robotaxi的規模化商用？

實現無人駕駛商業化的最佳路徑是，前期在限定區域實現技術積累，通過技術降維和L4數據，為L2+產品做熱啟動；更長期看，利用L2的規模優勢，提前收集L4泛化所需要儲備的長尾問題。這也正是百度目前所采取的技術路徑。

在王亮看來，百度領航輔助駕駛產品未來3-5年搭載量有望突破百萬。百萬量級行駛在城市道路上的L2+乘用車，可有效地收集和補充長尾問題，加速L4無人駕駛系統在更大范圍運營，數據壁壘也將成為百度的L4技術護城河。

2025年L2+產品將跨越消費者鴻溝，L4的商業模式也將在局部區域和城市實現跑通，兩者的緊密配合將正式開啟，二者的結合將比任何單一路徑都更快速、更高效地實現自動駕駛。

L4技術降維L2+產品已經走通。

2023年后，ANP3.0數據反哺L4的規劃也在進行中，并已經完成了前期的技術布局，隨著智駕ANP3.0產品上市，后續L4和L2+技術的協同飛輪將運轉起來，形成正反饋。

百度L4、L2+技術和定義描述是：

一方為另一方提供有利于生存的幫助，同時也獲得對方的幫助，兩種技術方案和產品形態共存，相互依賴，彼此有利，此為“共生”。

亮相的百度無人車技術大牛，都是什么來頭？

以上，就是剛剛結束的Apollo開放日亮相的所有技術大牛的分享內容。

總體來看，百度把6個之前多在幕后的一線技術研發負責人推向臺前，詳細介紹描繪了Apollo自動駕駛的整體架構、子系統優勢特征，以及商業化進展。

Apollo架構體系，包括地圖、感知、數據閉環等等要素，是任何自動駕駛公司都繞不過去的必經之路。

但百度又能依托集團長時間耕耘其他AI領域的能力，給每一個技術板塊都賦予獨特優勢。

比如文心大模型帶車端小模型的方法，提升車端感知能力；再比如昆侖芯在云端計算、仿真系統為Apollo提供的助力等等。

而這其中最重要的，是百度在目前L4遇冷的環境下，再次自證“降維”路線能夠走通，提出了可供全行業參考的業務模型。

最后，來簡單認識一下這次出場的百度無人車“CTO級”技術天團。

陳競凱，2002年畢業于北京大學計算機系，碩士。是百度內部低調又謙遜的技術大神之一。先后在搜索、廣告和地圖等業務上統領過技術工作，并任百度技術委員會聯席主席。2018年開始，陳競凱出任百度自動駕駛首席架構師。

黃際洲，博士，正高級工程師，百度人工智能技術委員會主席，百度地圖首席研發架構師。多年來一直從事自然語言處理、知識圖譜、數據挖掘等人工智能相關技術研發及大規模產業化工作，先后擔任百度阿拉丁、圖片搜索、搜索推薦、信息流推薦、百度地圖等產品的研發架構師。

王井東，2001和2004年在清華大學自動化系先后獲得學士學位和碩士學位，2007年在香港科技大學計算科學與工程系獲得博士學位。2007年進入微軟亞洲研究院，現任百度計算機視覺首席架構師。2021年當選IEEE Fellow。現任百度計算機視覺首席架構師。

介紹數據閉環體系的自動駕駛專家李昂，公開資料較少，但毫無疑問一定是Apollo口中的“CTO級”大牛之一。

昆侖芯科技CEO歐陽劍，本科畢業于北航電子工程專業，碩士畢業于中科大。2016年進入百度，負責自動駕駛數據體系架構，2020年起任百度首席芯片架構師。是百度造芯的主要操盤手。

王亮博士，2000級北航計算機系校友，2012年從肯塔基大學博士畢業，在Adobe實過習，畢業后先去了微軟雷德蒙德總部……2013年加入百度美研，參與AR平臺打造，主要是發揮其機器視覺和3D建模方面的專長。至今，官方title是杰出研發架構師，百度無人駕駛環境感知方向技術負責人、百度智能駕駛事業群組技術委員會主席。

所以這次亮相的幾位技術大牛都是T幾？

很可能至少人均T11，因為王亮2年前提到T11，而陳競凱很多年前就是T11了。

而按照百度技術職級，最高是T12，不過至今未聽說誰是T12…