智能車(chē)的「ChatGPT時(shí)刻」，還有多遠(yuǎn)？| 模力時(shí)代

魚(yú)羊 2024-01-23 16:10:43 來(lái)源：量子位

魚(yú)羊 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

要說(shuō)今年“科技春晚”CES上最吸引眼球的是什么，智能車(chē)當(dāng)屬其一。

畢竟大模型一上車(chē)，智能座艙都卷成醬嬸了：

讓車(chē)上的數(shù)字助手幫忙記錄約飯日程，Ta能直接幫你把餐廳也給預(yù)定了。

△驍龍座艙平臺(tái)效果展示

規(guī)劃路線這種事兒也變得充滿巧思，數(shù)字助手會(huì)根據(jù)你的習(xí)慣，主動(dòng)問(wèn)你：“路上買(mǎi)杯咖啡不？”

△驍龍座艙平臺(tái)效果展示

智能車(chē)上下游廠商紛紛秀出肌肉，也難怪不少前線參展的胖友們感嘆：CES能當(dāng)車(chē)展逛了。

事實(shí)上，隨著大模型落地應(yīng)用的重點(diǎn)從云側(cè)走向端側(cè)，不僅是手機(jī)廠商紛紛卷起端側(cè)大模型，大模型上車(chē)也已成為關(guān)注焦點(diǎn)之一：

智能車(chē)是現(xiàn)今最重要的智能移動(dòng)終端之一，而大模型被認(rèn)為是AI規(guī)?；瘧?yīng)用的關(guān)鍵。

不止是基于大模型、生成式AI能力構(gòu)建智能座艙，由特斯拉而引起熱議的端到端自動(dòng)駕駛方案，背后也正代表著通過(guò)大模型串聯(lián)感知、預(yù)測(cè)、規(guī)劃所有模塊的全新技術(shù)趨勢(shì)。

也就是說(shuō)，在大模型重構(gòu)一切掀起的“模力時(shí)代”中，從智能座艙到自動(dòng)駕駛，“汽車(chē)機(jī)器人”的真正實(shí)現(xiàn)，正在全方位圍繞大模型展開(kāi)。

那么，問(wèn)題來(lái)了——

智能車(chē)真的需要大模型嗎？

前文已經(jīng)說(shuō)到，大模型上車(chē)的兩種最受關(guān)注的趨勢(shì)，其一圍繞自動(dòng)駕駛，其二聚焦智能座艙。

自動(dòng)駕駛方面，隨著CVPR 2023最佳論文頒給自動(dòng)駕駛大模型，一種行業(yè)共識(shí)浮出水面：

端到端自動(dòng)駕駛是行業(yè)的未來(lái)，而新的突破將以大模型技術(shù)為基礎(chǔ)。

△CVPR 2023最佳論文

有別于傳統(tǒng)上更多基于規(guī)則的自動(dòng)駕駛算法，端到端模型能夠直接基于傳感器輸入（如攝像頭數(shù)據(jù)），學(xué)習(xí)如何控制輸出，無(wú)需人為設(shè)計(jì)復(fù)雜的中間表示。

舉個(gè)例子，在端到端自動(dòng)駕駛方案中，想要讓模型學(xué)會(huì)不闖紅燈，無(wú)需設(shè)計(jì)規(guī)則，只要多用高質(zhì)量的交通信號(hào)燈視頻訓(xùn)練它就行。

這也就意味著，端到端模型能夠更好地處理復(fù)雜的交通場(chǎng)景：相比于對(duì)手寫(xiě)規(guī)則的依賴，此類(lèi)模型可以針對(duì)實(shí)際場(chǎng)景進(jìn)行推理，更能夠解決corner case帶來(lái)的應(yīng)用落地問(wèn)題。

量子位智庫(kù)在《2023年度十大前沿科技趨勢(shì)報(bào)告》中指出，端到端自動(dòng)駕駛技術(shù)以全部模塊神經(jīng)網(wǎng)絡(luò)化為特征，對(duì)規(guī)則的依賴度低，具備智能涌現(xiàn)能力和跨場(chǎng)景應(yīng)用潛力。

而在CVPR 2023最佳論文《Planning-oriented Autonomous Driving》中，研究人員通過(guò)實(shí)驗(yàn)證明，骨干網(wǎng)絡(luò)的增大能夠帶來(lái)感知分?jǐn)?shù)的提升，這可能進(jìn)一步改善模型的預(yù)測(cè)和規(guī)劃性能。

也就是說(shuō)，更大的模型能夠提供更豐富的特征表示和更復(fù)雜的任務(wù)處理能力，能夠更好地支持自動(dòng)駕駛場(chǎng)景中復(fù)雜的數(shù)據(jù)處理和決策制定。

如果說(shuō)大模型驅(qū)動(dòng)的自動(dòng)駕駛還是探索進(jìn)行時(shí)，生成式AI與智能座艙的結(jié)合，則已經(jīng)更快一步有了具體落地案例。

在今年的CES上就可見(jiàn)一斑。

比如吉利銀河E8，就已大模型上車(chē)，實(shí)現(xiàn)了車(chē)上的影音娛樂(lè)和AI交互的個(gè)性化：基于文生圖大模型，秒級(jí)生成私人定制款專(zhuān)屬壁紙、精準(zhǔn)推薦音樂(lè)還能基于音樂(lè)意境生成風(fēng)格化壁紙、AI數(shù)字精靈具備“人設(shè)”更加擬人……

高通的驍龍數(shù)字底盤(pán)概念車(chē)，更直觀展現(xiàn)出了邊緣側(cè)生成式AI的高效用例。

比如儀表盤(pán)上出現(xiàn)了一個(gè)警示燈，不必研究用戶手冊(cè)，直接向數(shù)字助手提問(wèn)就能立刻得到答案。AI甚至還能幫助你當(dāng)場(chǎng)預(yù)約維修。

△youtube@HotHardware

關(guān)鍵是，部署在車(chē)端的大模型，即終端側(cè)AI的模式，在結(jié)合本地?cái)?shù)據(jù)提供更加個(gè)性化的座艙服務(wù)的同時(shí)，能夠保護(hù)用戶數(shù)據(jù)“足不出車(chē)”。這既保障了用戶的隱私安全，也緩解了云端處理帶來(lái)的時(shí)延問(wèn)題。

另外，對(duì)端側(cè)算力的充分利用也能大大緩解用戶規(guī)?；鲩L(zhǎng)給云端算力帶來(lái)的成本壓力。

不難看出，對(duì)于自動(dòng)駕駛領(lǐng)域而言，大模型的技術(shù)浪潮，帶來(lái)了突破當(dāng)前技術(shù)瓶頸的新路徑。因此也不乏業(yè)內(nèi)人士給出這樣的判斷：真正要在通用場(chǎng)景下實(shí)現(xiàn)L4、L5級(jí)自動(dòng)駕駛，大模型不可或缺。

值得關(guān)注的是，盡管云側(cè)基礎(chǔ)大模型及其應(yīng)用一年來(lái)進(jìn)展飛速，但大模型上車(chē)，仍然存在不小的挑戰(zhàn)。

其一，是數(shù)據(jù)問(wèn)題。相比于互聯(lián)網(wǎng)的海量數(shù)據(jù)，自動(dòng)駕駛領(lǐng)域本身數(shù)據(jù)量要小得多，并且對(duì)于訓(xùn)練端到端模型而言，來(lái)自優(yōu)秀人類(lèi)駕駛員的高質(zhì)量數(shù)據(jù)更為關(guān)鍵。

其二，是算力問(wèn)題。無(wú)論是智能駕駛中的路況實(shí)時(shí)推理，還是智能座艙中的用戶意圖理解和功能調(diào)度，都對(duì)端側(cè)算力有著更高的需求。

其三，還有安全性問(wèn)題。這一方面涉及到端到端自動(dòng)駕駛模型的可解釋性，另一方面，是端云結(jié)合過(guò)程中，如何確保用戶隱私數(shù)據(jù)不泄露的問(wèn)題。

而從硬件的視角來(lái)看，這些問(wèn)題，實(shí)際上都對(duì)車(chē)載芯片提出了更高的要求。

「模力時(shí)代」，智能車(chē)需要什么樣的車(chē)芯？

如果說(shuō)驍龍8155（第三代旗艦級(jí)驍龍座艙平臺(tái)）在過(guò)去幾年中已經(jīng)成為座艙是否智能的事實(shí)衡量標(biāo)準(zhǔn)之一，那么，在CES“車(chē)展”上頻頻出現(xiàn)的另一個(gè)關(guān)鍵詞，已經(jīng)透露出“模力時(shí)代”智能車(chē)新的競(jìng)逐方向——

驍龍8295（第四代至尊級(jí)驍龍座艙平臺(tái)）。

從國(guó)產(chǎn)造車(chē)新勢(shì)力，到奔馳寶馬，CES上亮相的最新量產(chǎn)車(chē)上，驍龍8295已經(jīng)成為新的標(biāo)配。

△搭載驍龍數(shù)字底盤(pán)解決方案的寶馬i7

在大模型上車(chē)的最新趨勢(shì)里，車(chē)芯最新的進(jìn)化方向是什么樣的，不妨就以驍龍8295為例，具體拆解來(lái)看。

驍龍8295采用5nm工藝制程打造。算力方面，其CPU算力達(dá)到230K DMIPS，是驍龍8155的8倍；GPU則可實(shí)現(xiàn)每秒2.9萬(wàn)億次單精度浮點(diǎn)運(yùn)算（2.9TFLOPS）或每秒5.8萬(wàn)次半精度浮點(diǎn)運(yùn)算（5.8TFLOPS），相較于8155，整體性能提升2倍，3D渲染性能提升3倍，能同時(shí)帶動(dòng)車(chē)內(nèi)11塊屏幕，遠(yuǎn)超市面上其他車(chē)機(jī)芯片。

更關(guān)鍵的是，驍龍8295搭載雙核NPU，AI算力從8155的4TOPS直接躍升至30TOPS。

這樣的參數(shù)性能，放在車(chē)規(guī)級(jí)芯片上，可以說(shuō)是一騎絕塵。而反映到功能上，大模型、多模態(tài)交互、離線語(yǔ)音，甚至是艙泊一體、駕艙一體，都有了實(shí)現(xiàn)的基礎(chǔ)。

以搭載了驍龍8295的極越01為例，云端的語(yǔ)音識(shí)別算法模型直接放在車(chē)端，實(shí)時(shí)響應(yīng)時(shí)間能從1.5秒縮短到700毫秒。

除了常規(guī)自主泊車(chē)，還能在車(chē)外語(yǔ)音控制車(chē)輛實(shí)現(xiàn)自主泊車(chē)。

車(chē)內(nèi)，在驍龍8295的支持下，極越01能實(shí)現(xiàn)對(duì)不同說(shuō)話人的識(shí)別，也就是支持多人同時(shí)語(yǔ)音功能。配合離線語(yǔ)音庫(kù)，即使沒(méi)有網(wǎng)絡(luò)連接，也能實(shí)現(xiàn)全功能語(yǔ)音識(shí)別。

并且車(chē)內(nèi)的智能交互，現(xiàn)在也不僅僅停留在語(yǔ)音層面，配合眼神、動(dòng)作的多模態(tài)交互，現(xiàn)在也可以在車(chē)上實(shí)現(xiàn)。比如，想要打開(kāi)車(chē)上的某一扇窗戶，不用詳細(xì)說(shuō)明，只要一句“打開(kāi)窗戶”再配合視線，車(chē)上AI就能秒懂車(chē)主心意。

值得一提的是，驍龍8295作為可擴(kuò)展自動(dòng)駕駛SoC平臺(tái)，擁有廣泛的軟件生態(tài)系統(tǒng)，包括視覺(jué)感知、泊車(chē)和駕駛員檢測(cè)軟件棧等等。

對(duì)于車(chē)企而言，這意味著在驍龍座艙平臺(tái)的基礎(chǔ)上整“花活”更加方便快捷。

而站在消費(fèi)者的角度，座艙內(nèi)智能化體驗(yàn)的升級(jí)，以上所述也僅僅是個(gè)開(kāi)始。

終端側(cè)AI是AI規(guī)模化關(guān)鍵

大模型帶來(lái)的變革，核心是人機(jī)交互方式的變革。

而智能車(chē)作為被給予厚望的“智能空間”，自然而然成為這場(chǎng)重構(gòu)一切的技術(shù)變革風(fēng)暴中不容忽視的一環(huán)。

智能車(chē)的“ChatGPT時(shí)刻”具體何時(shí)會(huì)到來(lái)，還沒(méi)有人能夠準(zhǔn)確地預(yù)判。但至少在軟硬件準(zhǔn)備上，以高通為代表的玩家，已經(jīng)率先一步做好了迎接爆發(fā)的準(zhǔn)備。

事實(shí)上，這種逐漸聚焦到終端的對(duì)新“ChatGPT時(shí)刻”的期待，在2024年開(kāi)端的這場(chǎng)CES上，可以說(shuō)是無(wú)處不在。智能車(chē)備受矚目，但遠(yuǎn)非全部。

從爆火的AI掌機(jī)Rabbit R1，到AI PC，再到AR/VR和具身智能機(jī)器人，AI與終端的結(jié)合，幾乎已經(jīng)蔓延到CES會(huì)場(chǎng)的每一個(gè)角落。

“模力時(shí)代”新一階段的變革走向，也在其中越發(fā)顯現(xiàn)：大模型/生成式AI技術(shù)落地到端側(cè)，是新一輪AI機(jī)遇爆發(fā)的關(guān)鍵。

對(duì)此，高通公司總裁兼CEO安蒙在CES主題演講中談到：

生成式AI的發(fā)展，正在從第一階段走向第二階段。當(dāng)前，整個(gè)行業(yè)已經(jīng)將生成式AI在處理器中落地，下一步將是使用場(chǎng)景和應(yīng)用的開(kāi)發(fā)。

歸結(jié)原因，核心其實(shí)是，數(shù)據(jù)在哪里，AI推理就應(yīng)該在哪里進(jìn)行。

一方面，云計(jì)算推理成本正隨著大模型應(yīng)用用戶數(shù)量的增加和模型參數(shù)規(guī)模的增大而急劇增加，需要充分利用端側(cè)算力來(lái)平衡成本。另一方面，只有當(dāng)終端就能運(yùn)行AI大模型用例時(shí)，個(gè)人數(shù)據(jù)才能在受到保護(hù)的前提下被充分運(yùn)用，實(shí)現(xiàn)真正個(gè)性化的大模型應(yīng)用。

總而言之，2024年一開(kāi)年，“模力時(shí)代”終端變革的一角，已經(jīng)進(jìn)一步向大眾揭開(kāi)。

可以預(yù)見(jiàn)的是，變革的風(fēng)暴不會(huì)就此停滯，更多的智能變化，或許就將在這一年中，通過(guò)智能終端，離你我的生活更進(jìn)一步。

— 完 —