多模態(tài)大模型+自動(dòng)駕駛=？ECCV’24這場(chǎng)Workshop開啟招募啦

衡宇 2024-06-02 22:21:29 來源：量子位

CK 投稿

量子位 | 公眾號(hào) QbitAI

多模態(tài)，已經(jīng)成為大模型最重要的發(fā)展方向之一。

從GPT-4V到GPT-4o，多模態(tài)大模型在多模態(tài)感知與理解方面的進(jìn)展，正在不斷驚艷世界。

然而，利用多模態(tài)大模型來應(yīng)對(duì)自動(dòng)駕駛中復(fù)雜場(chǎng)景，特別是罕見但關(guān)鍵的難例場(chǎng)景，仍然是一個(gè)未解的難題。

圍繞這一挑戰(zhàn)，現(xiàn)在，一場(chǎng)由香港科技大學(xué)、香港中文大學(xué)等研究機(jī)構(gòu)發(fā)起的ECCV 2024 Workshop來了。

這場(chǎng)Workshop旨在研討當(dāng)前最先進(jìn)的自動(dòng)駕駛技術(shù)，與完全可靠的智能自動(dòng)駕駛代理之間的差距，促進(jìn)多模態(tài)大模型感知與理解、先進(jìn)的AIGC技術(shù)在自動(dòng)駕駛系統(tǒng)中的應(yīng)用，以及端到端自動(dòng)駕駛等方面的創(chuàng)新研究。

活動(dòng)主要包括論文投稿和挑戰(zhàn)賽兩部分，如果你對(duì)此感興趣，詳情請(qǐng)看——

Workshop征稿

本次論文征稿關(guān)注自動(dòng)駕駛場(chǎng)景多模態(tài)感知與理解、自動(dòng)駕駛場(chǎng)景圖像與視頻生成、端到端自動(dòng)駕駛、下一代工業(yè)級(jí)自動(dòng)駕駛解決方案等主題，包括但不限于：

• Corner case mining and generation for autonomous driving.
• 3D object detection and scene understanding.
• Semantic occupancy prediction.
• Weakly supervised learning for 3D Lidar and 2D images.
• One/few/zero-shot learning for autonomous perception.
• End-to-end autonomous driving systems with Large Multimodal Models.
• Large Language Models techniques adaptable for self-driving systems.
• Safety/explainability/robustness for end-to-end autonomous driving.
• Domain adaptation and generalization for end-to-end autonomous driving.

投稿規(guī)則：

本次投稿將通過OpenReview平臺(tái)實(shí)行雙盲審稿，接收兩種形式的投稿：

1. 完整論文：論文篇幅在14頁內(nèi)，采用ECCV格式，參考文獻(xiàn)和補(bǔ)充材料篇幅不限。被接收的論文將成為ECCV官方論文集的一部分，不允許重新提交到其他會(huì)議。
2. 擴(kuò)展摘要：論文篇幅為4頁內(nèi)，采用CVPR格式，參考文獻(xiàn)和補(bǔ)充材料篇幅不限。被接收的論文不會(huì)被包含在ECCV官方論文集中，允許重新提交到其他的會(huì)議。

投稿入口：

1. 完整論文：https://openreview.net/group?id=thecvf.com/ECCV/2024/Workshop/W-CODA
2. 擴(kuò)展摘要：https://openreview.net/group?id=thecvf.com/ECCV/2024/Workshop/W-CODA_Abstract_Paper_Track

自動(dòng)駕駛難例場(chǎng)景多模態(tài)理解與視頻生成挑戰(zhàn)賽

本次競(jìng)賽旨在提升多模態(tài)模型在自動(dòng)駕駛中極端情況的感知與理解，并生成描繪這些極端情況的能力。

賽道一：自動(dòng)駕駛難例場(chǎng)景感知與理解

本賽道關(guān)注多模態(tài)大模型（MLLMs）在自動(dòng)駕駛難例場(chǎng)景的感知和理解能力，包括整體場(chǎng)景理解、區(qū)域理解和行駛建議等方面的能力，旨在推動(dòng)更加可靠且可解釋的自動(dòng)駕駛代理的發(fā)展。

賽道二：自動(dòng)駕駛難例場(chǎng)景視頻生成

本賽道關(guān)注擴(kuò)散模型生成多視角自動(dòng)駕駛場(chǎng)景視頻的能力?；诮o定的自動(dòng)駕駛場(chǎng)景3D幾何結(jié)構(gòu)，模型需要生成與之對(duì)應(yīng)的自動(dòng)駕駛場(chǎng)景視頻，并保證時(shí)序一致性、多視角一致性、指定的分辨率和視頻時(shí)長。

競(jìng)賽時(shí)間：2024年6月15日至2024年8月15日

獎(jiǎng)項(xiàng)設(shè)置：冠軍1000美元，亞軍800美元，季軍600美元（每賽道）

時(shí)間節(jié)點(diǎn)

Workshop主頁：
https://coda-dataset.github.io/w-coda2024/