大模型開車哪家強？普渡研究給指南：GPT-4真行啊
一句“要遲到了”就能讓車速變快
白交 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
現(xiàn)在一句口令，就能指揮汽車了。
比如說聲“我開會要遲到了”“我不想讓我朋友等太久”等等，車就能理解，并且自動加速起來。
如果這次行程有不滿意的，只需要給汽車提供反饋建議：“要在充分保障安全的前提下”，汽車的自動駕駛行為就會在下次行程中進行自我修正。
這是來自普渡大學(xué)數(shù)字孿生實驗室最新研究——
讓大語言模型部署在自動駕駛實車上，在多個交通場景，比如停車場、十字路口和高速上理解乘客的各種個性化指令，構(gòu)建他們的數(shù)字孿生。
最終在眾多大模型的實驗中，GPT-4脫穎而出。
更多細節(jié)在此。
基于LLM的自動駕駛系統(tǒng)
而這背后的實現(xiàn)，主要來自于一個框架Talk2Drive。
這個框架主要有三個特點：
1、它將人類口頭命令轉(zhuǎn)換為文本指令，然后由云端的大模型來處理。在此過程中會用到一些語音識別的開源API，比如Whisper，準(zhǔn)確捕獲口令并翻譯成文本。云上的大模型結(jié)合天氣、交通狀況和當(dāng)?shù)亟煌ㄒ?guī)則等信息，生成上下文駕駛數(shù)據(jù)。
2、大模型生成特定的自動駕駛代碼，隨后發(fā)送回車輛的電子控制單元（ECU）并在其中執(zhí)行。
代碼執(zhí)行涉及調(diào)整基本駕駛行為以及車輛規(guī)劃和控制系統(tǒng)中的各種參數(shù)。
隨后，車輛的執(zhí)行器通過CAN總線和線控系統(tǒng)控制油門、剎車、檔位選擇和轉(zhuǎn)向。
3、車輛的存儲模塊秉承”千人千面“的理念，記錄著所有人車交互數(shù)據(jù)，確保每次行駛體驗都是基于乘客的歷史偏好和實時命令進行定制，實現(xiàn)真正意義上的數(shù)字孿生個性體驗。
經(jīng)過一眾大模型對比，他們最終選擇GPT-4，因為它的延遲相對較小，以及推理能力更強。
在Talk2Drive 系統(tǒng)中，三類不同駕乘偏好的乘客以口頭化的指令表達與大模型進行交互，以促使系統(tǒng)做出相應(yīng)調(diào)整。當(dāng)乘客對調(diào)整后的自動駕駛行為不滿意時會關(guān)閉自動駕駛模式，系統(tǒng)也會記錄這種情況下的 “接管”。
結(jié)果顯示，無論駕乘偏好如何，Talk2Drive都能顯著降低接管率。
這輛全副武裝的自動駕駛車和大語言模型API協(xié)作完成了這次研究。
來自普渡大學(xué)數(shù)字孿生實驗室
這項研究來自普渡大學(xué)數(shù)字孿生實驗室。
從研究團隊來看，大部分都是華人面孔。
其中一作Can Cui目前是普渡大學(xué)一年級博士生。在加入普渡大學(xué)工程學(xué)院之前，在密歇根大學(xué)獲得了電氣與計算機工程碩士學(xué)位。本科畢業(yè)于武漢理工大學(xué)。
其導(dǎo)師王子然博士，在2022年加入普渡大學(xué)之前，曾在豐田硅谷研發(fā)中心任職四年，以主任研究員的身份領(lǐng)銜數(shù)字孿生的相關(guān)研究。
據(jù)介紹，普渡數(shù)字孿生實驗室從2023年6月開始深耕大語言模型和自動駕駛交叉領(lǐng)域，進行了包括文獻綜述、創(chuàng)立公開數(shù)據(jù)集、仿真環(huán)境測試、以及主辦研討會等一系列工作。
論文鏈接：
https://arxiv.org/abs/2312.09397
項目網(wǎng)站：
https://purduedigitaltwin.github.io/llm4ad
- 北大開源最強aiXcoder-7B代碼大模型！聚焦真實開發(fā)場景，專為企業(yè)私有部署設(shè)計2024-04-09
- 剛剛，圖靈獎揭曉！史上首位數(shù)學(xué)和計算機最高獎“雙料王”出現(xiàn)了2024-04-10
- 8.3K Stars!《多模態(tài)大語言模型綜述》重大升級2024-04-10
- 谷歌最強大模型免費開放了！長音頻理解功能獨一份，100萬上下文敞開用2024-04-10
相關(guān)閱讀
