多模態(tài)大模型+自動駕駛=?ECCV’24這場Workshop開啟招募啦
論文、挑戰(zhàn)賽等你來投
CK 投稿
量子位 | 公眾號 QbitAI
多模態(tài),已經(jīng)成為大模型最重要的發(fā)展方向之一。
從GPT-4V到GPT-4o,多模態(tài)大模型在多模態(tài)感知與理解方面的進(jìn)展,正在不斷驚艷世界。
然而,利用多模態(tài)大模型來應(yīng)對自動駕駛中復(fù)雜場景,特別是罕見但關(guān)鍵的難例場景,仍然是一個(gè)未解的難題。

圍繞這一挑戰(zhàn),現(xiàn)在,一場由香港科技大學(xué)、香港中文大學(xué)等研究機(jī)構(gòu)發(fā)起的ECCV 2024 Workshop來了。
這場Workshop旨在研討當(dāng)前最先進(jìn)的自動駕駛技術(shù),與完全可靠的智能自動駕駛代理之間的差距,促進(jìn)多模態(tài)大模型感知與理解、先進(jìn)的AIGC技術(shù)在自動駕駛系統(tǒng)中的應(yīng)用,以及端到端自動駕駛等方面的創(chuàng)新研究。
活動主要包括論文投稿和挑戰(zhàn)賽兩部分,如果你對此感興趣,詳情請看——
Workshop征稿
本次論文征稿關(guān)注自動駕駛場景多模態(tài)感知與理解、自動駕駛場景圖像與視頻生成、端到端自動駕駛、下一代工業(yè)級自動駕駛解決方案等主題,包括但不限于:
- Corner case mining and generation for autonomous driving.
- 3D object detection and scene understanding.
- Semantic occupancy prediction.
- Weakly supervised learning for 3D Lidar and 2D images.
- One/few/zero-shot learning for autonomous perception.
- End-to-end autonomous driving systems with Large Multimodal Models.
- Large Language Models techniques adaptable for self-driving systems.
- Safety/explainability/robustness for end-to-end autonomous driving.
- Domain adaptation and generalization for end-to-end autonomous driving.
投稿規(guī)則:
本次投稿將通過OpenReview平臺實(shí)行雙盲審稿,接收兩種形式的投稿:
- 完整論文:論文篇幅在14頁內(nèi),采用ECCV格式,參考文獻(xiàn)和補(bǔ)充材料篇幅不限。被接收的論文將成為ECCV官方論文集的一部分,不允許重新提交到其他會議。
- 擴(kuò)展摘要:論文篇幅為4頁內(nèi),采用CVPR格式,參考文獻(xiàn)和補(bǔ)充材料篇幅不限。被接收的論文不會被包含在ECCV官方論文集中,允許重新提交到其他的會議。
投稿入口:
- 完整論文:https://openreview.net/group?id=thecvf.com/ECCV/2024/Workshop/W-CODA
- 擴(kuò)展摘要:https://openreview.net/group?id=thecvf.com/ECCV/2024/Workshop/W-CODA_Abstract_Paper_Track
自動駕駛難例場景多模態(tài)理解與視頻生成挑戰(zhàn)賽
本次競賽旨在提升多模態(tài)模型在自動駕駛中極端情況的感知與理解,并生成描繪這些極端情況的能力。
賽道一:自動駕駛難例場景感知與理解
本賽道關(guān)注多模態(tài)大模型(MLLMs)在自動駕駛難例場景的感知和理解能力,包括整體場景理解、區(qū)域理解和行駛建議等方面的能力,旨在推動更加可靠且可解釋的自動駕駛代理的發(fā)展。
賽道二:自動駕駛難例場景視頻生成
本賽道關(guān)注擴(kuò)散模型生成多視角自動駕駛場景視頻的能力。基于給定的自動駕駛場景3D幾何結(jié)構(gòu),模型需要生成與之對應(yīng)的自動駕駛場景視頻,并保證時(shí)序一致性、多視角一致性、指定的分辨率和視頻時(shí)長。
競賽時(shí)間:2024年6月15日至2024年8月15日
獎(jiǎng)項(xiàng)設(shè)置:冠軍1000美元,亞軍800美元,季軍600美元(每賽道)
時(shí)間節(jié)點(diǎn)

Workshop主頁:
https://coda-dataset.github.io/w-coda2024/



