蔚來(lái)AI大模型正式上車(chē)：NOMI進(jìn)化無(wú)限暢聊，有問(wèn)必答

曹原 2024-04-12 17:53:18 來(lái)源：量子位

曹原?發(fā)自?副駕寺

智能車(chē)參考?|?公眾號(hào)?AI4Auto

蔚來(lái)大模型NOMI?GPT，正式上線。

語(yǔ)音助手NOMI現(xiàn)在不僅更聰明，擁有各種各樣的用車(chē)、百科知識(shí)。

還能懂“感覺(jué)”，根據(jù)用戶要求生成對(duì)應(yīng)氛圍燈，比如這是春游的氛圍：

更進(jìn)一步的是，NOMI還可以一句話創(chuàng)建任務(wù)場(chǎng)景。比如小孩上車(chē)時(shí)打開(kāi)兒童鎖和后排屏幕鎖；工作日我上車(chē)時(shí)自動(dòng)導(dǎo)航去公司、并且空調(diào)打開(kāi)到23度。

原來(lái)大模型是這么用的？

都進(jìn)化了啥功能

這次升級(jí)，NOMI升級(jí)后首先會(huì)擁有5大功能，官方給出的名稱(chēng)分別是大模型百科、用車(chē)問(wèn)答、無(wú)限趣聊、趣玩表情和魔法氛圍。

其中大模型百科和用車(chē)問(wèn)答功能顧名思義，就是無(wú)論是關(guān)于用車(chē)相關(guān)的問(wèn)題、還是其他百科、出行攻略、創(chuàng)作文案、總結(jié)整理信息等等問(wèn)題，NOMI都能解決。

比如問(wèn)儀表盤(pán)上有人背著大寶劍的圖標(biāo)是什么意思？NOMI會(huì)回答：

或者讓NOMI推薦5個(gè)周末適合帶娃去的公園，NOMI會(huì)介紹：

并且NOMI的回答還能支持表格展示，比如讓NOMI把周杰倫每張專(zhuān)輯的發(fā)布時(shí)間列個(gè)表格出來(lái)。

其次的無(wú)限趣聊則是可以與NOMI不限輪次談天說(shuō)地。

比如可以讓NOMI吹吹你的彩虹屁、在你不開(kāi)心時(shí)安慰一下你；或者聊聊你感興趣的音樂(lè)、影視類(lèi)內(nèi)容，讓NOMI分享它喜歡某一首歌的哪句歌詞；還能一起玩猜字謎、猜動(dòng)物的語(yǔ)言游戲；還有角色扮演，可以讓NOMI扮演李白和你對(duì)話。

趣玩表情意思是升級(jí)后的NOMI，表情更多更豐富，包括160+個(gè)。你可以讓它直接做個(gè)鬼臉、吹泡泡；還能匹配指令顯示對(duì)應(yīng)表情。

比如這是春節(jié)收到很多紅包的表情：

另外還能展示表情九連拍，讓NOMI連續(xù)展示一連串的表情。

最后的魔法氛圍就是可以讓NOMI營(yíng)造各種氛圍，可以直接和NOMI說(shuō)，來(lái)個(gè)XX氛圍的氛圍燈，NOMI就會(huì)從超過(guò)1670萬(wàn)種的氛圍燈中選出它覺(jué)得最適合的那種。

比如這是照亮前程的氛圍燈：

而除了以上這些功能，這次的重頭戲就是上線AI場(chǎng)景生成功能，支持一句話創(chuàng)建場(chǎng)景任務(wù)，還能取個(gè)名字。

基礎(chǔ)一點(diǎn)的有，“工作日早上我上車(chē)時(shí)就自動(dòng)導(dǎo)航去公司，把熱點(diǎn)打開(kāi)，空調(diào)調(diào)到23度，然后播放NIO?Radio資訊充電站”，NOMI就會(huì)生成場(chǎng)景，并命名為“上班通勤”模式。

并且不只是車(chē)主，也能創(chuàng)建其他用車(chē)人員的模式。比如：當(dāng)副駕上車(chē)的時(shí)候，打開(kāi)座椅按摩并對(duì)他說(shuō)加班辛苦了，NOMI就會(huì)創(chuàng)建為“歸來(lái)舒緩”模式。

并且還能讓NOMI提醒車(chē)主下車(chē)時(shí)不要忘記攜帶隨身物品，或者到達(dá)出游地點(diǎn)后提醒大家先合個(gè)影等等。

那么這些能力，又是怎么實(shí)現(xiàn)的？

蔚來(lái)NOMI?GPT大模型上車(chē)

此次升級(jí)，一大核心就是NOMI?GPT端云多模態(tài)大模型上線。

基于蔚來(lái)自研端側(cè)多模態(tài)感知能力，參數(shù)規(guī)模數(shù)十億，可以收集圖像、音頻，還有從車(chē)身傳感器的多模態(tài)的信息，讓NOMI能“看見(jiàn)”、“聽(tīng)見(jiàn)”，并且感受車(chē)內(nèi)和車(chē)外的人和環(huán)境。

另外，NOMI還擁有認(rèn)知中樞，能根據(jù)收集到的多模態(tài)信息，通過(guò)推理分析形成復(fù)雜任務(wù)的處理能力，包括中控分發(fā)、多模拒識(shí)、跨域繼承&跳轉(zhuǎn)和多Agent決策環(huán)節(jié)。

也就是說(shuō)NOMI根據(jù)所說(shuō)內(nèi)容，結(jié)合對(duì)話上下文、感知以及狀態(tài)信息，去判斷這里需要調(diào)用任務(wù)型交互、問(wèn)答閑聊還是用車(chē)助手；并且綜合判斷這是在和NOMI交互，還是在和車(chē)內(nèi)其他人聊天，如果是后者，NOMI就無(wú)需插嘴。

對(duì)此蔚來(lái)還宣布首創(chuàng)模態(tài)內(nèi)外多維度對(duì)比學(xué)習(xí)技術(shù)，并應(yīng)用于NOMI的對(duì)話系統(tǒng)中，讓NOMI的誤識(shí)別率和誤拒識(shí)率均在2%以?xún)?nèi)，以及調(diào)度分發(fā)單輪準(zhǔn)確率達(dá)到98%以上，長(zhǎng)距離多輪分發(fā)準(zhǔn)確率達(dá)到95%以上。

即升級(jí)后的NOMI處理用戶指令時(shí)更準(zhǔn)確和可靠，在單次交互和連續(xù)多輪對(duì)話中都能保持高準(zhǔn)確度，提升用戶體驗(yàn)。

并且，新的NOMI還擁有情感引擎。

此前NOMI已經(jīng)擁有記憶能力，包括短期記憶和長(zhǎng)期記憶，情感引擎則是在此基礎(chǔ)上幫助NOMI通過(guò)實(shí)時(shí)反饋、事后反思、人為訓(xùn)練等方式，變得更聰明、掌握新技能和新知識(shí)。

NOMI甚至可以擁有人設(shè)，包括性格、三觀、夢(mèng)想等等，讓回答不僅符合自己的人設(shè)，還貼合用戶的使用習(xí)慣。

同時(shí)，蔚來(lái)還預(yù)告，由于新一代電子電器架構(gòu)已經(jīng)打通智艙和智駕，座艙內(nèi)模型計(jì)算可以調(diào)用智駕芯片算力，再加上蔚來(lái)認(rèn)為自己擁有行業(yè)最牛智駕算力——4顆英偉達(dá)Orin?X，?共1016TOPS，所以未來(lái)還會(huì)有更多的功能上線。

另外，由于多模態(tài)能力包括識(shí)別用戶、穿著等比較私人的信息，蔚來(lái)還承諾新系統(tǒng)做到敏感信息不出車(chē)、賬號(hào)之間互相隔離、車(chē)載通信端到端加密等，保證數(shù)字安全。

包含大模型百科、用車(chē)問(wèn)答、無(wú)限趣聊、趣玩表情、魔法氛圍以及AI場(chǎng)景生成功能，會(huì)和Banyan·榕?2.4.5?CN版本從今日開(kāi)始推送，大概會(huì)在一周內(nèi)推送完畢。

車(chē)主可將車(chē)機(jī)版本升級(jí)至Banyan?2.4.5、NOMI應(yīng)用版本升級(jí)至20.4.20.192，就能開(kāi)始使用以上這些功能，

而NOMI的端側(cè)多模態(tài)感知能力正在內(nèi)部測(cè)試，預(yù)計(jì)在年內(nèi)推送上車(chē)。

不難發(fā)現(xiàn)，打通座艙內(nèi)任務(wù)調(diào)用，一句話調(diào)用車(chē)內(nèi)功能已經(jīng)是最基本的能力，而且語(yǔ)音助手能完成用車(chē)知識(shí)、百科知識(shí)問(wèn)答，也逐漸成為座艙標(biāo)配，相關(guān)能力已經(jīng)從“有沒(méi)有”發(fā)展到“好不好”的競(jìng)爭(zhēng)。

并且蔚來(lái)認(rèn)為，雖然行業(yè)內(nèi)語(yǔ)音助手功能也有很多家做得好，甚至做得久，比如小愛(ài)和小度，但對(duì)于座艙的理解蔚來(lái)?yè)碛凶约旱膬?yōu)勢(shì)。

再加上蔚來(lái)一直在思考大模型能力和整車(chē)進(jìn)行更深入的融合，這份思考非常扎實(shí)；以及思考背后帶來(lái)的各種各樣的技術(shù)，包括算法、工程、服務(wù)等等，蔚來(lái)的這些優(yōu)勢(shì)也不是別人很容易就能追得上的。

那這份優(yōu)勢(shì)是否能轉(zhuǎn)換成行業(yè)口碑，還要等全量推送后，看看車(chē)主的評(píng)價(jià)。

這次蔚來(lái)NOMI升級(jí)的能力，有戳中你心巴的嗎？