華為重塑自動(dòng)駕駛，純血鴻蒙編程語(yǔ)言亮相，開發(fā)者大會(huì)殺瘋了

一凡 2024-06-22 23:12:50 來(lái)源：量子位

一凡 發(fā)自 副駕寺

智能車參考 | 公眾號(hào) AI4Auto

精銳盡出，華為殺瘋了。

華為開發(fā)者大會(huì)2024 (以下簡(jiǎn)稱HDC 2024)震撼開幕，“純血”鴻蒙、盤古大模型5.0、編程語(yǔ)言倉(cāng)頡、5.5G……新成果接連炸場(chǎng)。

科技春晚全程高能，技術(shù)盛宴干貨滿滿。

尤其是盤古大模型對(duì)自動(dòng)駕駛的變革，引發(fā)行業(yè)關(guān)注。

AI生成視頻如此逼真，自動(dòng)駕駛不必依賴路測(cè)。

華為盤古大模型，重塑自動(dòng)駕駛

在HDC 2024上，華為官宣盤古大模型升級(jí)至5.0，多模態(tài)能力大幅提高。

所謂多模態(tài)，即盤古大模型5.0能更好更精準(zhǔn)地理解物理世界，包括文本、圖片、視頻、雷達(dá)、紅外和遙感等更多模態(tài)，生成的內(nèi)容更符合現(xiàn)實(shí)規(guī)律。

從應(yīng)用落地來(lái)說(shuō)，聚焦自動(dòng)駕駛行業(yè)，盤古大模型5.0將支持靈活定制，生成不同路況、不同光照、不同天氣的訓(xùn)練視頻數(shù)據(jù)，時(shí)長(zhǎng)最長(zhǎng)可達(dá)1分鐘。

在現(xiàn)場(chǎng)，華為還對(duì)這項(xiàng)能力進(jìn)行了演示：

可以靈活定制，是要生成一條空的街道，還是多車復(fù)雜路況：

天氣情況也能上上強(qiáng)度：

仔細(xì)觀察，會(huì)發(fā)現(xiàn)當(dāng)天氣變化時(shí)，生成的車輛細(xì)節(jié)不一樣：

同一輛車，雨天時(shí)車燈是打開的。

如何做到這么逼真且智能的？

背后是創(chuàng)新的可控時(shí)空生成技術(shù)(STGC)，核心是數(shù)據(jù)和模型兩個(gè)方面。

訓(xùn)練數(shù)據(jù)，華為采用六個(gè)視角相機(jī)，覆蓋360度，累計(jì)采集和治理20萬(wàn)幀高質(zhì)量數(shù)據(jù)。

模型方面，華為在視頻生成大模型VAE和DiT架構(gòu)的基礎(chǔ)上，新增了三個(gè)輸入模塊：

• 3D邊界框編碼器(3D bounding box Encoder)
• Bev路網(wǎng)編碼器
• 相機(jī)軌跡編碼器

然后使用算法處理3D邊界框和BEEV路網(wǎng)圖，使得盤古大模型實(shí)現(xiàn)多視角關(guān)聯(lián)學(xué)習(xí)，學(xué)習(xí)到多視角空間和時(shí)序一致性。，從而生成自動(dòng)駕駛訓(xùn)練所需要的場(chǎng)景。

這有助于解決當(dāng)下自動(dòng)駕駛的兩個(gè)難題：

數(shù)據(jù)集的泛化和邊緣場(chǎng)景生成。

自動(dòng)駕駛系統(tǒng)的訓(xùn)練非常復(fù)雜，過(guò)去依賴路測(cè)，部署車隊(duì)投入大，路測(cè)采集數(shù)據(jù)成本高，時(shí)間周期長(zhǎng)。

同時(shí)自動(dòng)駕駛的能力成長(zhǎng)，受限于遇到的邊緣場(chǎng)景(Corner Case)，比較罕見。

而且遇到邊緣場(chǎng)景，針對(duì)性調(diào)整系統(tǒng)后，也不一定能復(fù)現(xiàn)出來(lái)驗(yàn)證，畢竟路況車況隨時(shí)在變。

而且極端地邊緣場(chǎng)景，比較危險(xiǎn)。

對(duì)于這些問(wèn)題，其實(shí)業(yè)內(nèi)早前也提出過(guò)仿真測(cè)試的路線。

只不過(guò)過(guò)去是，先建模后渲染，構(gòu)造仿真數(shù)據(jù)成本高，精度誤差大。

現(xiàn)在，華為用盤古大模型，實(shí)現(xiàn)了建模仿真到AI生成的轉(zhuǎn)變。

有助于自動(dòng)駕駛擺脫路測(cè)依賴，收集數(shù)據(jù)不一定非要上路，降低自動(dòng)駕駛訓(xùn)練成本。

邊緣場(chǎng)景可生成可復(fù)現(xiàn)，加快自動(dòng)駕駛終局到來(lái)。

此前Wayve和Waabi這類初創(chuàng)公司，就因相關(guān)能力受到關(guān)注，英偉達(dá)等巨頭投資。

現(xiàn)在華為正式官宣入場(chǎng)，很可能會(huì)把這條賽道推向新高潮。

而自動(dòng)駕駛，不過(guò)是盤古大模型重塑千行萬(wàn)業(yè)的冰山一角。

盤古大模型，也只是HDC 2024科技盛宴的其中一道主菜。

HDC 2024，重塑、升級(jí)與跨越

除了自動(dòng)駕駛，在現(xiàn)場(chǎng)華為還提及了盤古大模型對(duì)各行各業(yè)的賦能，包括工業(yè)設(shè)計(jì)、建筑設(shè)計(jì)、具身智能和汽車設(shè)計(jì)。

華為還特別提到了，盤古大模型對(duì)新車造型設(shè)計(jì)的利好。

盤古大模型可以將原來(lái)需要1-2年設(shè)計(jì)周期大幅縮短，造型設(shè)計(jì)師可以將自己的靈感，通過(guò)對(duì)話、畫圖與大模型交互，生成3D數(shù)字模型。

還可進(jìn)行風(fēng)格化調(diào)整，以及零部件編輯，變換顏色等。

生成的數(shù)字模型還可以直接輸出成3D文件，支持10幾種主流格式。

設(shè)計(jì)師可以直接3D打印樣品，減少制作油泥模型的輪次，極大地節(jié)省成本和時(shí)間。

除此之外，其實(shí)很早以前，盤古大模型的視覺能力，就已經(jīng)用來(lái)檢測(cè)汽車零部件的缺陷了。

盤古大模型升級(jí)炸場(chǎng)，同樣官宣升級(jí)的還有5G技術(shù)。

余承東在現(xiàn)場(chǎng)宣布，5.5G的時(shí)延更低，連接數(shù)更多，今年會(huì)是5.5G商用元年。

在華為官方的預(yù)熱視頻中，最新機(jī)型Pura 70已經(jīng)出現(xiàn)5.5G的網(wǎng)絡(luò)標(biāo)識(shí)，其中意味不言自明。

還是接著聊新升級(jí)對(duì)智能車和自動(dòng)駕駛的影響。

據(jù)公開報(bào)道，其實(shí)從去年，有車企比如長(zhǎng)城，就已經(jīng)在試驗(yàn)“5G-A（5.5G）超可靠低時(shí)延汽車柔性產(chǎn)線”，嘗試提高生產(chǎn)效率。

而在自動(dòng)駕駛領(lǐng)域，無(wú)人車每天產(chǎn)生的超海量數(shù)據(jù)，借助5.5G也能夠?qū)崟r(shí)傳回后臺(tái)算力平臺(tái)，加快算法訓(xùn)練。

相比盤古大模型和5.5G，可能對(duì)于普通用戶來(lái)說(shuō)，最關(guān)注也是感受最直接的，還是“純血鴻蒙”，也就是Harmony Next。

新一代鴻蒙操作系統(tǒng)，不僅是內(nèi)核、數(shù)據(jù)庫(kù)和文件系統(tǒng)等等自主，還有配套的編譯器、編程語(yǔ)言、開發(fā)IDE和框架。

從最底層的核心硬件，到用戶交互的前端，每個(gè)開發(fā)環(huán)節(jié)實(shí)現(xiàn)自主，還有9億臺(tái)設(shè)備支撐的生態(tài)，動(dòng)搖操作系統(tǒng)兩強(qiáng)格局。

不過(guò)在大會(huì)現(xiàn)場(chǎng)，談到Harmony Next的升級(jí)，華為更多地還是介紹對(duì)終端的影響。

但也能從中推測(cè)到，未來(lái)的鴻蒙車機(jī)，流暢度還會(huì)繼續(xù)提高，車機(jī)交互會(huì)有新的想象空間，

以及華為在自動(dòng)駕駛的實(shí)踐，反哺到終端了。

在大會(huì)上，余承東用L1-L5的概念，來(lái)形容劃分“純血”鴻蒙升級(jí)后，語(yǔ)音助手小藝的推理規(guī)劃能力。

他還在現(xiàn)場(chǎng)激動(dòng)地表示：

今天，鴻蒙大勢(shì)已定。

沒有人能熄滅滿天星光。

后一句話，余承東在4年前的華為開發(fā)者大會(huì)上就說(shuō)過(guò)：

沒有人能夠熄滅滿天星光，星星之火可以燎原。

如今我們看到，盤古大模型正重塑千行萬(wàn)業(yè)，5G技術(shù)持續(xù)升級(jí)，鴻蒙生態(tài)跨越式進(jìn)化。

4年前的星火，真的已成燎原之勢(shì)，匯成璀璨星河。

風(fēng)雪傾軋四五年，輕舟已過(guò)萬(wàn)重山。

萬(wàn)重山后，繼續(xù)領(lǐng)先。