CVPR自動(dòng)駕駛最in挑戰(zhàn)賽賽道，全球冠軍被算力選手奪走了
從全球90余支頂尖AI團(tuán)隊(duì)中脫穎而出
允中 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
浪潮信息AI團(tuán)隊(duì)，在自動(dòng)駕駛領(lǐng)域再奪一冠！
不久前，計(jì)算機(jī)視覺領(lǐng)域的頂級學(xué)術(shù)會(huì)議CVPR在全球目光注視中順利落幕，并正式公布了最佳論文等獎(jiǎng)項(xiàng)。除誕生了絕佳的10 篇論文之外，另一場備受關(guān)注的自動(dòng)駕駛國際挑戰(zhàn)賽也在同期結(jié)束了“巔峰廝殺”。
就在CVPR 2024自動(dòng)駕駛國際挑戰(zhàn)賽“Occupancy & Flow”賽道中，浪潮信息AI團(tuán)隊(duì)以48.9%的出色成績，從全球90余支頂尖AI團(tuán)隊(duì)中脫穎而出，摘下桂冠。
這也是該團(tuán)隊(duì)在2022年、2023年登頂nuScenes 3D目標(biāo)檢測榜單后，面向Occupancy技術(shù)的又一次實(shí)力展示。
△圖1-浪潮信息AI團(tuán)隊(duì)斬獲占據(jù)柵格和運(yùn)動(dòng)估計(jì)賽道第一名
CVPR 2024自動(dòng)駕駛國際挑戰(zhàn)賽是國際計(jì)算機(jī)視覺與模式識(shí)別會(huì)議（IEEE/CVF Conference on Computer Vision and Pattern Recognition）的一個(gè)重要組成部分，專注于自動(dòng)駕駛領(lǐng)域的技術(shù)創(chuàng)新和應(yīng)用研究。今年的CVPR自動(dòng)駕駛國際挑戰(zhàn)賽賽道設(shè)置也非常之有意思了，完整地包含了感知、預(yù)測、規(guī)劃三大方向七個(gè)賽道。
此次浪潮信息AI團(tuán)隊(duì)所登頂?shù)恼紦?jù)柵格和運(yùn)動(dòng)估計(jì)（Occupancy & Flow）賽道，也正是本屆CVPR自動(dòng)駕駛國際挑戰(zhàn)賽最受關(guān)注的賽道，聚焦感知任務(wù)，吸引了全球17個(gè)國家和地區(qū)，90余支頂尖AI團(tuán)隊(duì)參與挑戰(zhàn)。
比賽提供了基于nuScenes數(shù)據(jù)集的大規(guī)模占用柵格數(shù)據(jù)與評測標(biāo)準(zhǔn), 要求參賽隊(duì)伍利用相機(jī)圖像信息對柵格化三維空間的占據(jù)情況（Occupancy）和運(yùn)動(dòng)（Flow）進(jìn)行預(yù)測，以此來評估感知系統(tǒng)對高度動(dòng)態(tài)及不規(guī)則駕駛場景的表示能力。
占據(jù)柵格 Occupancy：挑戰(zhàn)更精細(xì)的環(huán)境感知與預(yù)測
道路布局的復(fù)雜性、交通工具的多樣性以及行人流量的密集性，是當(dāng)前城市道路交通的現(xiàn)狀，也是自動(dòng)駕駛領(lǐng)域面臨的現(xiàn)實(shí)挑戰(zhàn)。為了應(yīng)對這一挑戰(zhàn)，有效的障礙物識(shí)別和避障策略，以及對三維環(huán)境的感知和理解就變得至關(guān)重要。
傳統(tǒng)的三維物體檢測方法通常使用邊界框來表示物體的位置和大小，但對于幾何形狀復(fù)雜的物體，這種方法往往無法準(zhǔn)確描述其形狀特征，同時(shí)也會(huì)忽略對背景元素的感知。因此，基于三維邊界框的傳統(tǒng)感知方法已經(jīng)無法滿足復(fù)雜道路環(huán)境下的精準(zhǔn)感知和預(yù)測需求。
Occupancy Networks（占據(jù)柵格網(wǎng)絡(luò)）作為一種全新的自動(dòng)駕駛感知算法，通過獲取立體的柵格占據(jù)信息，使系統(tǒng)能夠在三維空間中確定物體的位置和形狀，進(jìn)而有效識(shí)別和處理那些未被明確標(biāo)注或形狀復(fù)雜的障礙物，如異形車、路上的石頭、散落的紙箱等。
這種占據(jù)柵格網(wǎng)絡(luò)使得自動(dòng)駕駛系統(tǒng)能夠更準(zhǔn)確地理解周圍的環(huán)境，不僅能識(shí)別物體，還能區(qū)分靜態(tài)和動(dòng)態(tài)物體。并以較高的分辨率和精度表示三維環(huán)境，對提升自動(dòng)駕駛系統(tǒng)在復(fù)雜場景下的安全性、精度和可靠性至關(guān)重要。
如下圖，針對挖車中的力臂，3D目標(biāo)檢測算法只能給出挖車整體的輪廓框（左），但占據(jù)格柵網(wǎng)絡(luò)卻可以更精準(zhǔn)地描述挖車具體的幾何形狀這類細(xì)節(jié)信息（右）。
浪潮信息AI團(tuán)隊(duì)創(chuàng)賽道最高成績
在占據(jù)柵格和運(yùn)動(dòng)估計(jì)（Occupancy & Flow）賽道中，浪潮信息AI團(tuán)隊(duì)以48.9%的絕佳性能表現(xiàn)，創(chuàng)下本賽道最高成績。
具體而言，團(tuán)隊(duì)所提交的“F-OCC”算法模型，憑借先進(jìn)的模型結(jié)構(gòu)設(shè)計(jì)、數(shù)據(jù)處理能力和算子優(yōu)化能力，實(shí)現(xiàn)了該賽道最強(qiáng)模型性能，在RayIoU（基于投射光線的方式評估柵格的占用情況）及mAVE（平均速度誤差）兩個(gè)評測指標(biāo)中均獲得最高成績。
更簡潔高效的模型架構(gòu)，實(shí)現(xiàn)運(yùn)算效率與檢測性能雙突破
首先，模型整體選擇基于前向投影的感知架構(gòu)，并采用高效且性能良好的FlashInternImage模型。
同時(shí)，通過對整體流程進(jìn)行超參調(diào)優(yōu)、算子加速等優(yōu)化，在占據(jù)柵格和運(yùn)動(dòng)估計(jì)均獲得最高分的同時(shí)，提升了模型的運(yùn)算效率，加快了模型迭代與推理速度。
在實(shí)際應(yīng)用場景中，這種改進(jìn)使得模型能夠更快速、高效地處理大規(guī)模3D體素?cái)?shù)據(jù)，使得自動(dòng)駕駛車輛能更好地理解環(huán)境，進(jìn)而提升決策的準(zhǔn)確度和實(shí)時(shí)性。
△圖3 – F-OCC算法模型架構(gòu)圖
更強(qiáng)大完善的數(shù)據(jù)處理，全面提升模型檢測能力
在數(shù)據(jù)處理方面，比賽提供的體素（Voxel）標(biāo)簽包含了大量在圖像中無法觀測到的點(diǎn)，例如被物體遮擋的體素和物體內(nèi)部不可見的體素，這些標(biāo)簽在訓(xùn)練過程中會(huì)對基于圖像數(shù)據(jù)的預(yù)測網(wǎng)絡(luò)訓(xùn)練產(chǎn)生干擾。
在訓(xùn)練數(shù)據(jù)中，浪潮信息AI團(tuán)隊(duì)通過模擬LiDAR光束的方法，生成可視化掩碼，提升了模型的預(yù)測精度；另一方面，通過引入感知范圍邊緣的體素點(diǎn)參與訓(xùn)練，有效解決出現(xiàn)在感知邊緣區(qū)域的誤檢問題，將模型的整體檢測性能提升11%。
更精細(xì)的3D體素編碼，模型占據(jù)預(yù)測能力提升超5%
在3D體素特征編碼模塊中，該算法團(tuán)隊(duì)將具有較大感知范圍和編碼能力的可形變卷積操作應(yīng)用于3D體素?cái)?shù)據(jù)，以提升3D特征的表示能力。
通過使用CUDA對可形變3D卷積（DCN3D）進(jìn)行實(shí)現(xiàn)與優(yōu)化，大幅提升了模型的運(yùn)算速度，并有效降低了顯存消耗。
通過DCN3D替代傳統(tǒng)3D卷積，模型整體占據(jù)預(yù)測能力提升超5%。
此外，基于開源大模型，浪潮信息AI團(tuán)隊(duì)也通過優(yōu)化圖像encoder模型和特征融合對齊方式，并從CoT（Chain of Thought）、GoT（Graph of Thought）、Prompt工程等方面優(yōu)化，提升了多模態(tài)模型對自動(dòng)駕駛BEV圖像的感知理解能力。最終以74.2%的成績，摘得本屆CVPR自動(dòng)駕駛國際挑戰(zhàn)賽 “大語言模型在自動(dòng)駕駛中的應(yīng)用”（LLM4AD）賽道的第五名。
2022年，浪潮信息AI團(tuán)隊(duì)摘得nuScenes競賽的純視覺3D目標(biāo)檢測任務(wù)（nuScenes Detection task）第一名，并一舉將關(guān)鍵性指標(biāo)NDS提高至62.4%。
2023年，這支團(tuán)隊(duì)再度奪冠，以77.6%的高分成績再創(chuàng)3D目標(biāo)檢測全賽道最高成績。
從BEV純視覺到BEV多模態(tài)，再至如今憑借“F-OCC”算法模型再度登頂CVPR 2024自動(dòng)駕駛國際挑戰(zhàn)賽， 占據(jù)柵格和運(yùn)動(dòng)估計(jì)任務(wù)（Occupancy & Flow）榜首。浪潮信息AI團(tuán)隊(duì)逐步探索，一路絕殺，為探索更高級別的自動(dòng)駕駛技術(shù)提供了有力的支撐和經(jīng)驗(yàn)。
期待這支團(tuán)隊(duì)在未來的精彩表現(xiàn)！
*本文系量子位獲授權(quán)刊載，觀點(diǎn)僅為作者所有。
— 完 —
相關(guān)閱讀
