大疆車載負(fù)責(zé)人新論文：攝像頭激光雷達(dá)慣導(dǎo)一起上，實時渲染精準(zhǔn)3D場景

曹原 2024-03-05 14:15:11 來源：量子位

曹原 發(fā)自 副駕寺

智能車參考|公眾號AI4Auto

大疆車載負(fù)責(zé)人沈邵劼，帶隊發(fā)了一篇新論文。

隨著高階智駕開城進(jìn)展加快，這給系統(tǒng)的高精定位、實時建圖能力帶來不小的考驗。

在這樣的背景下，來自香港大學(xué)、港科大、上交和北理的沈邵劼團(tuán)隊，基于攝像頭、激光雷達(dá)和IMU，帶來一種新方式：LIV-GaussMap。

通過這種方案實時構(gòu)建出的地圖，精度可以和照片媲美：

更重要的是，這種方法需要的硬件、軟件還有團(tuán)隊收集的數(shù)據(jù)集，全部開源。

高精定位技術(shù)路線

以自動駕駛系統(tǒng)為例，模塊化通常可分為三部分：感知、定位和規(guī)控。

經(jīng)常提到的“重感知、輕地圖”路線，這里的地圖指的就是定位模塊。

而自動駕駛等級越高，對于定位的精度要求也會越高。

因為精度越高，系統(tǒng)對周圍環(huán)境了解越清楚，車道線、紅綠燈等等都“一目了然”，才能更方便系統(tǒng)做出駕駛決策，并且是正確的決策。

一般來說，高精定位技術(shù)路線有三種，衛(wèi)星信號定位（GNSS+RTK）、慣性導(dǎo)航定位（INS/IMU）和環(huán)境特征匹配定位。

并且由于三種技術(shù)方案各自都有優(yōu)缺點，實際通常會采用多種方案融合的方式。

比如最常見的衛(wèi)星定位和慣性導(dǎo)航，可通過松耦合，緊耦合或深耦合的方式進(jìn)行定位，也就是俗稱的衛(wèi)慣組合。

衛(wèi)星可修正慣導(dǎo)系統(tǒng)的誤差，提高精度；慣導(dǎo)則可以防止衛(wèi)星信號被遮擋或干擾的情況下，車輛無法獲得定位信息。

不過，即使用多種方案融合，在城市工況中衛(wèi)星被嚴(yán)重遮擋（隧道、高架橋），甚至是地下停車場這種完全“丟星”的情況，就又回到了單一技術(shù)方案：只依賴慣導(dǎo)。

而慣導(dǎo)系統(tǒng)如果長時間沒有外部信息修正，誤差會不斷積累，導(dǎo)致無法給出準(zhǔn)確的定位結(jié)果。

因此就誕生了解耦衛(wèi)慣，引入其他傳感器等信息的新方式。比如利用慣導(dǎo)和攝像頭的視覺慣性里程計測距（Visual Inertial Odometry，VIO），類似的還有使用激光雷達(dá)的LIO。

而本篇論文的團(tuán)隊，選擇同時引入攝像頭和激光雷達(dá)信息，提出了一種新解法。

LIV-GaussMap：實時生成照片級地圖

LIV-GaussMap系統(tǒng)集成激光雷達(dá)（LiDAR）、慣性測量單元（IMU）和攝像頭（Visual）的信息，進(jìn)行多模態(tài)的傳感器融合，能實時生成3D輻射場地圖，是一種新方式生成的緊耦合地圖。

這種方法生成的地圖，無論是小范圍場景（a）還是大范圍場景（b），精度明顯提升，并且不會產(chǎn)生奇怪的虛影。

這又是怎么做到的？

系統(tǒng)首先進(jìn)行硬件同步，也就是攝像頭產(chǎn)生的圖像和激光雷達(dá)生成的點云之間實現(xiàn)精確時間對齊，為數(shù)據(jù)融合做準(zhǔn)備。

隨后，系統(tǒng)利用激光雷達(dá)和IMU融合的系統(tǒng)進(jìn)行實時定位和地圖構(gòu)建，基于迭代誤差狀態(tài)卡爾曼濾波（IESKF）提供場景初步的高斯結(jié)構(gòu)，和初始點云數(shù)據(jù)。

接下來，系統(tǒng)使用圖像亮度梯度優(yōu)化高斯結(jié)構(gòu)和球面諧波系數(shù)，用優(yōu)化后的結(jié)果得到表面高斯模型。

最后用光度插值和外推來合成新的視圖，并且系統(tǒng)能做到自適應(yīng)控制，根據(jù)點云的分布和密度，動態(tài)調(diào)整地圖的結(jié)構(gòu)，確保生成的是有細(xì)節(jié)、沒有任何間隙的地圖。

基于真實數(shù)據(jù)集，和其他最先進(jìn)算法相比，比如Plenoxel、F2-NeRF、3D-GS等，LIV-GaussMap生成的效果更真實、精度更高。

從得分來看，LIV-GaussMap的多項成績也均優(yōu)于其它方式。比如能夠衡量圖像質(zhì)量的指標(biāo)PSNR，以及基于深度學(xué)習(xí)的圖像相似性度量LPIPS，無論是內(nèi)插還是外插，LIV-GaussMap效果都是最優(yōu)的。

實時3D建圖，不止于車

從實際的生成效果來看，LIV-GaussMap最大特點就是能夠準(zhǔn)確還原各類物體的表面特征和幾何結(jié)構(gòu)，可以構(gòu)建詳細(xì)地圖。

而從圖像引入的亮度梯度數(shù)據(jù)，可以幫助解決激光雷達(dá)點云分布不合理或者測量不準(zhǔn)確的問題。

同時，LIV-GaussMap系統(tǒng)對于激光雷達(dá)類型沒有要求，無論是固態(tài)還是機(jī)械的激光雷達(dá)，同時支持重復(fù)和非重復(fù)掃描模式。

并且，雖然SLAM這種能夠?qū)崟r構(gòu)建高精地圖的能力，對于高階智能駕駛來說不可或缺，但LIV-GaussMap也能應(yīng)用在數(shù)字孿生、虛擬現(xiàn)實、機(jī)器人等需要實時渲染3D場景的領(lǐng)域。

從論文團(tuán)隊的背景來看，也都來自多個專業(yè)。

作者Sheng Hong和Junjie He對本文有同等貢獻(xiàn)，其中Sheng Hong來自香港科技大學(xué)計算機(jī)電子工程系，是機(jī)器人研究所-空中機(jī)器人組博士生。

Junjie He則和作者之一Xinhu Zheng，都來自香港科技大學(xué)（廣州）系統(tǒng)樞紐平臺（System hub）。

△Xinhu Zheng

作者之一Chunran Zheng來自香港大學(xué)，本科畢業(yè)于西安交通大學(xué)自動化專業(yè)，目前在香港大學(xué)MaRS實驗室攻讀博士學(xué)位。

本文的其他作者則都是美國電氣電子工程師學(xué)會（IEEE）的會員，包括來自上海交通大學(xué)自動化系教授Hesheng Wang，已經(jīng)在國內(nèi)外期刊和學(xué)術(shù)會議上發(fā)表論文超過150篇，SCI引用超過200次，谷歌學(xué)術(shù)被引次數(shù)超過1400次，曾多次擔(dān)任IEEE會議主席，還是多份機(jī)器人相關(guān)期刊副主編。

還有來自北京理工大學(xué)自動化學(xué)院的方浩教授，2002年獲得西安交通大學(xué)博士學(xué)位，曾參與多項國防預(yù)研項目，公開發(fā)表學(xué)術(shù)論文超過40篇。

本文的通訊作者是劉康丞教授，來自香港科技大學(xué)（廣州），博士就讀于香港中文大學(xué)，主動機(jī)器人和3D視覺方向，曾擔(dān)任20余種國際會議程序會議主席，和10余種國際頂級期刊的程序委員會委員或?qū)徃迦恕?/p>

最后一位作者就是沈劭劼，是港科大計算機(jī)電子工程學(xué)系副教授，以及港科大-大疆聯(lián)合創(chuàng)新實驗室（HDJI Lab）主任，同時還是大疆車載負(fù)責(zé)人。

沈劭劼?lián)碛匈e夕法尼亞大學(xué)電氣與系統(tǒng)工程博士學(xué)位，研究領(lǐng)域包括機(jī)器人和無人機(jī)的狀態(tài)估計、傳感器融合、定位和地圖繪制等，不僅多次擔(dān)任國際機(jī)器人會議和期刊的主席、高級編輯等職務(wù)，還多次獲得AI 2000最具影響力學(xué)者獎。

目前，LIV-GaussMap的硬件、軟件，還有團(tuán)隊收集的數(shù)據(jù)集將在github上開源，感興趣的可以等等看～

論文傳送門：

https://arxiv.org/abs/2401.14857

github傳送門：

https://github.com/sheng00125/LIV-GaussMap