大疆車載負責人新論文：攝像頭激光雷達慣導一起上，實時渲染精準3D場景

曹原 2024-03-05 14:15:11 來源：量子位

曹原 發自 副駕寺

智能車參考|公眾號AI4Auto

大疆車載負責人沈邵劼，帶隊發了一篇新論文。

隨著高階智駕開城進展加快，這給系統的高精定位、實時建圖能力帶來不小的考驗。

在這樣的背景下，來自香港大學、港科大、上交和北理的沈邵劼團隊，基于攝像頭、激光雷達和IMU，帶來一種新方式：LIV-GaussMap。

通過這種方案實時構建出的地圖，精度可以和照片媲美：

更重要的是，這種方法需要的硬件、軟件還有團隊收集的數據集，全部開源。

高精定位技術路線

以自動駕駛系統為例，模塊化通常可分為三部分：感知、定位和規控。

經常提到的“重感知、輕地圖”路線，這里的地圖指的就是定位模塊。

而自動駕駛等級越高，對于定位的精度要求也會越高。

因為精度越高，系統對周圍環境了解越清楚，車道線、紅綠燈等等都“一目了然”，才能更方便系統做出駕駛決策，并且是正確的決策。

一般來說，高精定位技術路線有三種，衛星信號定位（GNSS+RTK）、慣性導航定位（INS/IMU）和環境特征匹配定位。

并且由于三種技術方案各自都有優缺點，實際通常會采用多種方案融合的方式。

比如最常見的衛星定位和慣性導航，可通過松耦合，緊耦合或深耦合的方式進行定位，也就是俗稱的衛慣組合。

衛星可修正慣導系統的誤差，提高精度；慣導則可以防止衛星信號被遮擋或干擾的情況下，車輛無法獲得定位信息。

不過，即使用多種方案融合，在城市工況中衛星被嚴重遮擋（隧道、高架橋），甚至是地下停車場這種完全“丟星”的情況，就又回到了單一技術方案：只依賴慣導。

而慣導系統如果長時間沒有外部信息修正，誤差會不斷積累，導致無法給出準確的定位結果。

因此就誕生了解耦衛慣，引入其他傳感器等信息的新方式。比如利用慣導和攝像頭的視覺慣性里程計測距（Visual Inertial Odometry，VIO），類似的還有使用激光雷達的LIO。

而本篇論文的團隊，選擇同時引入攝像頭和激光雷達信息，提出了一種新解法。

LIV-GaussMap：實時生成照片級地圖

LIV-GaussMap系統集成激光雷達（LiDAR）、慣性測量單元（IMU）和攝像頭（Visual）的信息，進行多模態的傳感器融合，能實時生成3D輻射場地圖，是一種新方式生成的緊耦合地圖。

這種方法生成的地圖，無論是小范圍場景（a）還是大范圍場景（b），精度明顯提升，并且不會產生奇怪的虛影。

這又是怎么做到的？

系統首先進行硬件同步，也就是攝像頭產生的圖像和激光雷達生成的點云之間實現精確時間對齊，為數據融合做準備。

隨后，系統利用激光雷達和IMU融合的系統進行實時定位和地圖構建，基于迭代誤差狀態卡爾曼濾波（IESKF）提供場景初步的高斯結構，和初始點云數據。

接下來，系統使用圖像亮度梯度優化高斯結構和球面諧波系數，用優化后的結果得到表面高斯模型。

最后用光度插值和外推來合成新的視圖，并且系統能做到自適應控制，根據點云的分布和密度，動態調整地圖的結構，確保生成的是有細節、沒有任何間隙的地圖。

基于真實數據集，和其他最先進算法相比，比如Plenoxel、F2-NeRF、3D-GS等，LIV-GaussMap生成的效果更真實、精度更高。

從得分來看，LIV-GaussMap的多項成績也均優于其它方式。比如能夠衡量圖像質量的指標PSNR，以及基于深度學習的圖像相似性度量LPIPS，無論是內插還是外插，LIV-GaussMap效果都是最優的。

實時3D建圖，不止于車

從實際的生成效果來看，LIV-GaussMap最大特點就是能夠準確還原各類物體的表面特征和幾何結構，可以構建詳細地圖。

而從圖像引入的亮度梯度數據，可以幫助解決激光雷達點云分布不合理或者測量不準確的問題。

同時，LIV-GaussMap系統對于激光雷達類型沒有要求，無論是固態還是機械的激光雷達，同時支持重復和非重復掃描模式。

并且，雖然SLAM這種能夠實時構建高精地圖的能力，對于高階智能駕駛來說不可或缺，但LIV-GaussMap也能應用在數字孿生、虛擬現實、機器人等需要實時渲染3D場景的領域。

從論文團隊的背景來看，也都來自多個專業。

作者Sheng Hong和Junjie He對本文有同等貢獻，其中Sheng Hong來自香港科技大學計算機電子工程系，是機器人研究所-空中機器人組博士生。

Junjie He則和作者之一Xinhu Zheng，都來自香港科技大學（廣州）系統樞紐平臺（System hub）。

△Xinhu Zheng

作者之一Chunran Zheng來自香港大學，本科畢業于西安交通大學自動化專業，目前在香港大學MaRS實驗室攻讀博士學位。

本文的其他作者則都是美國電氣電子工程師學會（IEEE）的會員，包括來自上海交通大學自動化系教授Hesheng Wang，已經在國內外期刊和學術會議上發表論文超過150篇，SCI引用超過200次，谷歌學術被引次數超過1400次，曾多次擔任IEEE會議主席，還是多份機器人相關期刊副主編。

還有來自北京理工大學自動化學院的方浩教授，2002年獲得西安交通大學博士學位，曾參與多項國防預研項目，公開發表學術論文超過40篇。

本文的通訊作者是劉康丞教授，來自香港科技大學（廣州），博士就讀于香港中文大學，主動機器人和3D視覺方向，曾擔任20余種國際會議程序會議主席，和10余種國際頂級期刊的程序委員會委員或審稿人。

最后一位作者就是沈劭劼，是港科大計算機電子工程學系副教授，以及港科大-大疆聯合創新實驗室（HDJI Lab）主任，同時還是大疆車載負責人。

沈劭劼擁有賓夕法尼亞大學電氣與系統工程博士學位，研究領域包括機器人和無人機的狀態估計、傳感器融合、定位和地圖繪制等，不僅多次擔任國際機器人會議和期刊的主席、高級編輯等職務，還多次獲得AI 2000最具影響力學者獎。

目前，LIV-GaussMap的硬件、軟件，還有團隊收集的數據集將在github上開源，感興趣的可以等等看～

論文傳送門：

https://arxiv.org/abs/2401.14857

github傳送門：

https://github.com/sheng00125/LIV-GaussMap