蔚來AI大模型正式上車：NOMI進(jìn)化無限暢聊，有問必答

曹原 2024-04-12 17:53:18 來源：量子位

曹原?發(fā)自?副駕寺

智能車參考?|?公眾號(hào)?AI4Auto

蔚來大模型NOMI?GPT，正式上線。

語音助手NOMI現(xiàn)在不僅更聰明，擁有各種各樣的用車、百科知識(shí)。

還能懂“感覺”，根據(jù)用戶要求生成對(duì)應(yīng)氛圍燈，比如這是春游的氛圍：

更進(jìn)一步的是，NOMI還可以一句話創(chuàng)建任務(wù)場(chǎng)景。比如小孩上車時(shí)打開兒童鎖和后排屏幕鎖；工作日我上車時(shí)自動(dòng)導(dǎo)航去公司、并且空調(diào)打開到23度。

原來大模型是這么用的？

都進(jìn)化了啥功能

這次升級(jí)，NOMI升級(jí)后首先會(huì)擁有5大功能，官方給出的名稱分別是大模型百科、用車問答、無限趣聊、趣玩表情和魔法氛圍。

其中大模型百科和用車問答功能顧名思義，就是無論是關(guān)于用車相關(guān)的問題、還是其他百科、出行攻略、創(chuàng)作文案、總結(jié)整理信息等等問題，NOMI都能解決。

比如問儀表盤上有人背著大寶劍的圖標(biāo)是什么意思？NOMI會(huì)回答：

或者讓NOMI推薦5個(gè)周末適合帶娃去的公園，NOMI會(huì)介紹：

并且NOMI的回答還能支持表格展示，比如讓NOMI把周杰倫每張專輯的發(fā)布時(shí)間列個(gè)表格出來。

其次的無限趣聊則是可以與NOMI不限輪次談天說地。

比如可以讓NOMI吹吹你的彩虹屁、在你不開心時(shí)安慰一下你；或者聊聊你感興趣的音樂、影視類內(nèi)容，讓NOMI分享它喜歡某一首歌的哪句歌詞；還能一起玩猜字謎、猜動(dòng)物的語言游戲；還有角色扮演，可以讓NOMI扮演李白和你對(duì)話。

趣玩表情意思是升級(jí)后的NOMI，表情更多更豐富，包括160+個(gè)。你可以讓它直接做個(gè)鬼臉、吹泡泡；還能匹配指令顯示對(duì)應(yīng)表情。

比如這是春節(jié)收到很多紅包的表情：

另外還能展示表情九連拍，讓NOMI連續(xù)展示一連串的表情。

最后的魔法氛圍就是可以讓NOMI營造各種氛圍，可以直接和NOMI說，來個(gè)XX氛圍的氛圍燈，NOMI就會(huì)從超過1670萬種的氛圍燈中選出它覺得最適合的那種。

比如這是照亮前程的氛圍燈：

而除了以上這些功能，這次的重頭戲就是上線AI場(chǎng)景生成功能，支持一句話創(chuàng)建場(chǎng)景任務(wù)，還能取個(gè)名字。

基礎(chǔ)一點(diǎn)的有，“工作日早上我上車時(shí)就自動(dòng)導(dǎo)航去公司，把熱點(diǎn)打開，空調(diào)調(diào)到23度，然后播放NIO?Radio資訊充電站”，NOMI就會(huì)生成場(chǎng)景，并命名為“上班通勤”模式。

并且不只是車主，也能創(chuàng)建其他用車人員的模式。比如：當(dāng)副駕上車的時(shí)候，打開座椅按摩并對(duì)他說加班辛苦了，NOMI就會(huì)創(chuàng)建為“歸來舒緩”模式。

并且還能讓NOMI提醒車主下車時(shí)不要忘記攜帶隨身物品，或者到達(dá)出游地點(diǎn)后提醒大家先合個(gè)影等等。

那么這些能力，又是怎么實(shí)現(xiàn)的？

蔚來NOMI?GPT大模型上車

此次升級(jí)，一大核心就是NOMI?GPT端云多模態(tài)大模型上線。

基于蔚來自研端側(cè)多模態(tài)感知能力，參數(shù)規(guī)模數(shù)十億，可以收集圖像、音頻，還有從車身傳感器的多模態(tài)的信息，讓NOMI能“看見”、“聽見”，并且感受車內(nèi)和車外的人和環(huán)境。

另外，NOMI還擁有認(rèn)知中樞，能根據(jù)收集到的多模態(tài)信息，通過推理分析形成復(fù)雜任務(wù)的處理能力，包括中控分發(fā)、多模拒識(shí)、跨域繼承&跳轉(zhuǎn)和多Agent決策環(huán)節(jié)。

也就是說NOMI根據(jù)所說內(nèi)容，結(jié)合對(duì)話上下文、感知以及狀態(tài)信息，去判斷這里需要調(diào)用任務(wù)型交互、問答閑聊還是用車助手；并且綜合判斷這是在和NOMI交互，還是在和車內(nèi)其他人聊天，如果是后者，NOMI就無需插嘴。

對(duì)此蔚來還宣布首創(chuàng)模態(tài)內(nèi)外多維度對(duì)比學(xué)習(xí)技術(shù)，并應(yīng)用于NOMI的對(duì)話系統(tǒng)中，讓NOMI的誤識(shí)別率和誤拒識(shí)率均在2%以內(nèi)，以及調(diào)度分發(fā)單輪準(zhǔn)確率達(dá)到98%以上，長距離多輪分發(fā)準(zhǔn)確率達(dá)到95%以上。

即升級(jí)后的NOMI處理用戶指令時(shí)更準(zhǔn)確和可靠，在單次交互和連續(xù)多輪對(duì)話中都能保持高準(zhǔn)確度，提升用戶體驗(yàn)。

并且，新的NOMI還擁有情感引擎。

此前NOMI已經(jīng)擁有記憶能力，包括短期記憶和長期記憶，情感引擎則是在此基礎(chǔ)上幫助NOMI通過實(shí)時(shí)反饋、事后反思、人為訓(xùn)練等方式，變得更聰明、掌握新技能和新知識(shí)。

NOMI甚至可以擁有人設(shè)，包括性格、三觀、夢(mèng)想等等，讓回答不僅符合自己的人設(shè)，還貼合用戶的使用習(xí)慣。

同時(shí)，蔚來還預(yù)告，由于新一代電子電器架構(gòu)已經(jīng)打通智艙和智駕，座艙內(nèi)模型計(jì)算可以調(diào)用智駕芯片算力，再加上蔚來認(rèn)為自己擁有行業(yè)最牛智駕算力——4顆英偉達(dá)Orin?X，?共1016TOPS，所以未來還會(huì)有更多的功能上線。

另外，由于多模態(tài)能力包括識(shí)別用戶、穿著等比較私人的信息，蔚來還承諾新系統(tǒng)做到敏感信息不出車、賬號(hào)之間互相隔離、車載通信端到端加密等，保證數(shù)字安全。

包含大模型百科、用車問答、無限趣聊、趣玩表情、魔法氛圍以及AI場(chǎng)景生成功能，會(huì)和Banyan·榕?2.4.5?CN版本從今日開始推送，大概會(huì)在一周內(nèi)推送完畢。

車主可將車機(jī)版本升級(jí)至Banyan?2.4.5、NOMI應(yīng)用版本升級(jí)至20.4.20.192，就能開始使用以上這些功能，

而NOMI的端側(cè)多模態(tài)感知能力正在內(nèi)部測(cè)試，預(yù)計(jì)在年內(nèi)推送上車。

不難發(fā)現(xiàn)，打通座艙內(nèi)任務(wù)調(diào)用，一句話調(diào)用車內(nèi)功能已經(jīng)是最基本的能力，而且語音助手能完成用車知識(shí)、百科知識(shí)問答，也逐漸成為座艙標(biāo)配，相關(guān)能力已經(jīng)從“有沒有”發(fā)展到“好不好”的競(jìng)爭(zhēng)。

并且蔚來認(rèn)為，雖然行業(yè)內(nèi)語音助手功能也有很多家做得好，甚至做得久，比如小愛和小度，但對(duì)于座艙的理解蔚來擁有自己的優(yōu)勢(shì)。

再加上蔚來一直在思考大模型能力和整車進(jìn)行更深入的融合，這份思考非常扎實(shí)；以及思考背后帶來的各種各樣的技術(shù)，包括算法、工程、服務(wù)等等，蔚來的這些優(yōu)勢(shì)也不是別人很容易就能追得上的。

那這份優(yōu)勢(shì)是否能轉(zhuǎn)換成行業(yè)口碑，還要等全量推送后，看看車主的評(píng)價(jià)。

這次蔚來NOMI升級(jí)的能力，有戳中你心巴的嗎？