原生鴻蒙AI濃度爆表：鴻蒙原生智能加持，小藝進(jìn)化成系統(tǒng)級(jí)智能體

明敏 白交 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

“鴻蒙原生智能”Harmony Intelligence來了！

一年一度華為開發(fā)者大會(huì)上，余承東首次揭秘。

而在Harmony Intelligence革新下，華為小藝也迎來了重大升級(jí)——

現(xiàn)在，它不僅僅是AI助手，而是系統(tǒng)級(jí)智能體。

基于盤古大模型5.0，目前華為小藝現(xiàn)在已掌握萬億級(jí)Tokens知識(shí)量、支持23類TOP場景、任務(wù)成功率達(dá)90%。

只需一句話，它就可以實(shí)現(xiàn)跨多個(gè)應(yīng)用的規(guī)劃和任務(wù)執(zhí)行；而要在第三方APP上想要處理文字圖表信息，也通通不在話下。

對(duì)屏幕上的內(nèi)容，小藝應(yīng)對(duì)自如。比如有地址信息的情況，就能直接詢問導(dǎo)航到這里的時(shí)間/距離，詢問附近停車場/地鐵站等信息。

現(xiàn)在，HarmonyOS NEXT已啟動(dòng)面向開發(fā)者和先鋒用戶的Beta升級(jí)，余承東喊話：

星河璀璨，加入鴻蒙正當(dāng)時(shí)！

而小藝作為HarmonyOS NEXT的一部分，它的這次全面升級(jí)也透露出，正式版HarmonyOS NEXT的AI濃度要爆表。

所以，小藝到底完成了哪些能力大升級(jí)？

小藝全面升級(jí)：系統(tǒng)級(jí)智能體

如果說去年留給大家的印象是首個(gè)大模型加持的智慧語音助手，那么今年小藝已經(jīng)成長為一個(gè)智能體，系統(tǒng)級(jí)別那種。

換言之，就是AI與OS緊密融合，能力升級(jí)也將更為徹底，同時(shí)也可以直接觸達(dá)用戶側(cè)的需求。

那么基于盤古大模型的升級(jí)迭代，小藝能力可以說來了個(gè)大升級(jí)，在記憶、推理、知識(shí)問答等方面的能力大幅提升。

除此之外，還更開放，多達(dá)300+的服務(wù)通過意圖框架接入，這樣一來，可以更高效地滿足用戶需求。

最直觀的，就是交互設(shè)計(jì)——真正意義上操作系統(tǒng)級(jí)別的超級(jí)入口。

小藝位于手機(jī)屏幕底部導(dǎo)航條，長按導(dǎo)航條就可以隨時(shí)喚醒小藝；此外還新增拖拽方式，支持全局拖拽文字、圖片、文檔等內(nèi)容給小藝，隨時(shí)讓小藝為你智能處理信息。

一個(gè)具體在辦公場景中的例子，比如一則開會(huì)通知文本拖拽給小藝，它就能根據(jù)通知內(nèi)容，拉起日歷創(chuàng)建行程；再給他一個(gè)帶表格的圖片，他能幫你轉(zhuǎn)成表格文件處理數(shù)據(jù)……

除此之外，還可以隨時(shí)根據(jù)屏幕內(nèi)容跟小藝進(jìn)行問答、發(fā)出指令。

手機(jī)真就變成了你的一個(gè)辦公助手，你不需要在多個(gè)應(yīng)用直接反復(fù)橫跳操作，更加專注的在手上的任務(wù)，這樣零門檻地就感受到大模型所賦予的能力。

而更深層次的升級(jí)，是跨設(shè)備跨應(yīng)用的感知規(guī)劃，完全是個(gè)專業(yè)又能干的助手了。

一方面，基于融合系統(tǒng)感知的意圖能力以及專業(yè)知識(shí)解析能力，小藝化身華為產(chǎn)品專家，跨各種設(shè)別終端來為用戶答疑解惑。目前覆蓋華為終端1+8設(shè)備產(chǎn)品知識(shí)，一整個(gè)格局打開。

比如購車前輔助決策，你可以問：問界M7和M5的車型對(duì)比；購買之后，也可以提供專業(yè)全面的解答。

另一方面在系統(tǒng)內(nèi)部它能實(shí)現(xiàn)跨應(yīng)用的任務(wù)規(guī)劃與調(diào)度，以此來實(shí)現(xiàn)更復(fù)雜的應(yīng)用。

要實(shí)現(xiàn)這一點(diǎn)，對(duì)智能體的挑戰(zhàn)并不小。首先它需要有感知和理解能力要精準(zhǔn)，不管是對(duì)設(shè)備、對(duì)應(yīng)用的感知，還是對(duì)與用戶這邊意圖、需求的理解，然后再進(jìn)行多步驟的任務(wù)規(guī)劃、工具調(diào)度和執(zhí)行能力。

而在發(fā)布會(huì)上，小藝為我們展現(xiàn)了這樣一個(gè)場景。

要跟小伙伴一起踢足球，只需要跟小藝說，“發(fā)條短信給吳雙，告訴他后天下午足球賽的比賽地點(diǎn)”。

接下來全部交給小藝，首先它從日程找到相關(guān)的時(shí)間地點(diǎn)，然后找到聯(lián)系人，并編輯好一條短信內(nèi)容進(jìn)行發(fā)送。這個(gè)過程中，小藝完成了日歷、聯(lián)系人、短信三個(gè)應(yīng)用的協(xié)作。

最后，面對(duì)用戶更多個(gè)性化的場景和需求，小藝還搞了一波大的——

更多生態(tài)應(yīng)用和服務(wù)，可以通過意圖框架，接入小藝智能體，提供更加自然高效的用戶體驗(yàn)。

換言之，它聯(lián)合開發(fā)者以及生態(tài)伙伴一起，人多力量大，就不信這樣還不夠懂你。

比如出行類APP接入意圖框架之后，小藝就能幫助規(guī)劃行程，自動(dòng)訂機(jī)票，到出發(fā)時(shí)實(shí)時(shí)信息同步，以及之后本地“衣食住行”服務(wù)。

以往智能體最多可能只停留在打開APP這一步驟，但現(xiàn)在同生態(tài)伙伴合作，小藝能貫穿整個(gè)出行場景全流程，「最后一公里」也全部打通。

接下來小藝還將會(huì)接入更多行業(yè)知識(shí)和應(yīng)用功能，與更多開發(fā)者一起打造出行、運(yùn)動(dòng)、娛樂、生活、辦公等行業(yè)智能體，一起為消費(fèi)者提供各個(gè)專業(yè)領(lǐng)域的服務(wù)，實(shí)現(xiàn)精準(zhǔn)推薦和服務(wù)閉環(huán)。

小藝如何做到？

一系列能力升級(jí)背后，關(guān)鍵問題是，小藝如何在短短1年時(shí)間內(nèi)升級(jí)成為智能體？

目前，業(yè)內(nèi)已經(jīng)逐漸達(dá)成一個(gè)共識(shí)：大模型重塑終端，智能體必不可少。

這是因?yàn)樵趯?shí)際應(yīng)用場景中，如果僅依靠大模型自身的智力水平，其能力一定十分有限。比如在知識(shí)領(lǐng)域，知識(shí)增強(qiáng)方法已經(jīng)成為一個(gè)研究熱點(diǎn)，這是讓大模型更高效拓展知識(shí)水平的方法之一。

除了知識(shí)拓展外，智能體構(gòu)建還需要考慮對(duì)物理世界的感知與理解、對(duì)復(fù)雜任務(wù)的拆解與執(zhí)行等。

具體來看小藝的技術(shù)升級(jí)路線，其實(shí)主要關(guān)注了四個(gè)方面：

• 底層模型
• 智能原生系統(tǒng)深度整合
• 端云協(xié)作
• 開放生態(tài)

首先在模型層面，它依托的盤古大模型在本次HDC上已完成全新升級(jí)。

在盤古大模型加持下，小藝在多模態(tài)理解生成上變得更強(qiáng)，并能完成復(fù)雜邏輯推理。

其次，HarmonyOS本身也更加原生智能化。

在最新發(fā)布中，華為宣布通過軟硬芯云整合，HarmonyOS NEXT構(gòu)建了全新鴻蒙原生智能架構(gòu)。它基于華為自研的全棧硬件與基礎(chǔ)設(shè)施，構(gòu)建了端云協(xié)同的算力調(diào)度系統(tǒng)和推理框架，讓AI大模型運(yùn)行地更加高效，支持更安全的隱私保護(hù)。

該架構(gòu)中，統(tǒng)一的AI系統(tǒng)底座為原生智能應(yīng)用和小藝智能體持續(xù)輸入AI能力。

它能在OS層提供統(tǒng)一的AI基礎(chǔ)模型、數(shù)據(jù)接入等，同時(shí)為OS其他子系統(tǒng)（如媒體子系統(tǒng)、文件子系統(tǒng)等）提供協(xié)調(diào)一致的智能化改造。

由此，小藝可以具備四方面能力：

• 感知和記憶
• 自主規(guī)劃
• 工具
• 行動(dòng)

感知方面，小藝可以通過HarmonyOS獲取到設(shè)備在硬件傳感器和軟件傳感器方面的信息，利用多模態(tài)大模型理解圖文、視頻、語音、傳感信號(hào)等模態(tài)信息，并能將這些碎片化的感知信息進(jìn)行全場景融合。

記憶方面，通過建立一個(gè)存儲(chǔ)并管理用戶信息的記憶體，小藝可以在解答問題、執(zhí)行操作時(shí)進(jìn)一步結(jié)合用戶習(xí)慣，給出更具個(gè)性化的回答和反饋。

在具體任務(wù)上，小藝能根據(jù)用戶提出的顯性或隱式訴求，自己理解、拆解任務(wù)，并將一個(gè)個(gè)子任務(wù)編排成鏈，形成具體的可執(zhí)行過程。

它可以調(diào)用HarmonyOS上的工具和服務(wù)。包括OS系統(tǒng)工具（如日歷、計(jì)算器等）和第三方服務(wù)。

在此基礎(chǔ)上，HarmonyOS構(gòu)建了系統(tǒng)級(jí)的意圖標(biāo)準(zhǔn)體系。它能通過多維系統(tǒng)感知、大模型等能力構(gòu)建全局意圖范式，可以更深入理解用戶的潛在意圖。

暢想一下，假如想要在飛行途中提前緩存視頻，傳統(tǒng)智慧助手需要至少3條準(zhǔn)確指令才能完成：

1、打開華為視頻

2、找到XX視頻

3、下載5-8集

但是在意圖框架下，這些步驟可以省略成一句話：我坐飛機(jī)時(shí)想要看正在追的劇。

得到用戶需求后，系統(tǒng)級(jí)智能體可以先在全局范圍內(nèi)檢索到用戶明天有從北京飛往深圳的航班，根據(jù)用戶日常習(xí)慣，它能從華為視頻上找到最近正在追的劇以及進(jìn)度。因?yàn)橹里w行時(shí)間為3個(gè)小時(shí)，劇集每集時(shí)長為40分鐘，系統(tǒng)智能體會(huì)計(jì)算后緩存5機(jī)劇集。甚至它會(huì)在執(zhí)行一系列操作時(shí)，確保手機(jī)處于WiFi連接狀態(tài)。

在全局范圍內(nèi)具備更強(qiáng)能力后，底層計(jì)算也需要做出相應(yīng)調(diào)整。

華為采用端云協(xié)同的方式，讓端側(cè)側(cè)重感知執(zhí)行，云側(cè)側(cè)重規(guī)劃決策，從而實(shí)現(xiàn)了全局化智能。

端云芯片同源，能更有利于端云算力協(xié)同，并且能讓多設(shè)備之間的流轉(zhuǎn)體驗(yàn)更好。

通過實(shí)現(xiàn)端云統(tǒng)一的AI計(jì)算生態(tài)，端云的算子優(yōu)化可以相互使能或借鑒。

與此同時(shí)，華為還構(gòu)建了“軟硬芯云一體化安全架構(gòu)”，通過深度整合軟件、硬件、芯片與云端各層防護(hù)機(jī)制，來確保數(shù)據(jù)、應(yīng)用和用戶交互的安全。

最后，HarmonyOS還構(gòu)建了開放的生態(tài)系統(tǒng)。

通過開放模型開發(fā)部署能力、提供與HarmonyOS深度適配的原子化API接口以及高階AI系統(tǒng)能力組件（AI控件、意圖框架），開發(fā)者可以快速開發(fā)與迭代。

其中，通過控件AI化可將原生鴻蒙AI能力開放給三方應(yīng)用，更多三方應(yīng)用調(diào)用HarmonyOS NEXT的AI能力，鴻蒙生態(tài)也更進(jìn)一步壯大。

比如，小藝智能體可以在系統(tǒng)中調(diào)用、編排更多服務(wù)，而不是僅限于系統(tǒng)應(yīng)用。目前，支付寶、釘釘、去哪兒、同程旅行等都與HarmonyOS展開合作，能通過小藝為用戶更便捷、更智能化提供服務(wù)。

終端智能分5級(jí)，現(xiàn)在已到L3

以上便是此次小藝智能體升級(jí)背后的技術(shù)揭秘。

在華為同清華張亞勤院士領(lǐng)導(dǎo)的清華大學(xué)智能產(chǎn)業(yè)研究院AIR團(tuán)隊(duì)聯(lián)合發(fā)布《AI與人協(xié)作、服務(wù)于人——AI終端白皮書》中提到，AI終端智能化可分為L1-L5級(jí)。

目前可以感知到的是，小藝已經(jīng)部分達(dá)到了L3+水平。

未來，隨著大模型、智能體等技術(shù)不斷發(fā)展，終端操作系統(tǒng)還會(huì)更加智能化，HarmonyOS也正在朝著這個(gè)方向加速前進(jìn)。

比如白皮書中提到，更智慧的操作系統(tǒng)應(yīng)該是動(dòng)態(tài)的、自主的和自適應(yīng)的，它將像一個(gè)值得信賴的伙伴，不斷適應(yīng)用戶，滿足他們的需求，預(yù)測(cè)他們的訴求，并迎合他們的喜好。

在這方面，華為正在不斷探索，被LREC-COLING 2024接收的AutoDE方法，它能夠自動(dòng)化動(dòng)態(tài)評(píng)估AI助手的API調(diào)用能力。通過利用LLM來模擬真實(shí)用戶的交互，該方法能夠更真實(shí)地評(píng)估AI助手的能力。

△來源于論文《Beyond Static Evaluation: A Dynamic Approach to Assessing AI Assistants’ API Invocation Capabilities》

可以看到，華為不僅在探索如何更好優(yōu)化AI助手，還把智能體理念融入到了AI開發(fā)中。

而在AI驅(qū)動(dòng)下，各個(gè)設(shè)備之間的聯(lián)系也將變得更加緊密，“以設(shè)備為中心”的交互模式正在向“以場景為中心”轉(zhuǎn)變。

HarmonyOS的1+8+N融合感知不僅能夠覆蓋全場景，而且一直在設(shè)備之間的通信、全面感知和服務(wù)流轉(zhuǎn)上不斷迭代升級(jí)。

結(jié)合全新小藝智能體，這不僅能為用戶帶來更好的連續(xù)服務(wù)智能體驗(yàn)，也能為生態(tài)帶來智慧分發(fā)入口與新流量。

如今，HarmonyOS NEXT面向開發(fā)者和先鋒用戶開放Beta，正式版本預(yù)計(jì)將在年內(nèi)亮相，屆時(shí)小藝智能體將一同與大家見面。

在發(fā)布會(huì)上，華為終端BG首席執(zhí)行官何剛先生表示，HarmonyOS NEXT誕生在AI大模型時(shí)代，能讓華為有機(jī)會(huì)將AI與OS深度結(jié)合。

而在大模型重塑終端浪潮之下，HarmonyOS也變得更加值得期待。

回看1年以前，小藝作為首個(gè)引入盤古大模型能力的終端智慧助手，掀起了AI重塑手機(jī)、重塑OS的浪潮。

1年時(shí)間里，包括蘋果在內(nèi)，廠商們?cè)贏I終端上的角逐更加激烈。

為什么大家都要去做？

有來自技術(shù)驅(qū)動(dòng)的影響，有手機(jī)等終端品類再增長的行業(yè)發(fā)展要求……但更關(guān)鍵的因素在于，大模型對(duì)終端OS和智慧助手的重塑，能直接提升每一位用戶的體驗(yàn)，更讓人們相信如“賈維斯”一般的超級(jí)助理真的有望成為現(xiàn)實(shí)。

當(dāng)下，AI已經(jīng)成為手機(jī)市場的最大賣點(diǎn)，每一款新機(jī)上市，都不敢不強(qiáng)調(diào)它有了哪些AI新功能、調(diào)用了哪家大模型。

但這或許還只是開始。

正如最初人們無法想象大模型如何“塞入”終端一樣，現(xiàn)在的技術(shù)進(jìn)展和應(yīng)用生態(tài)都還未發(fā)展完善，真正意義上的AI OS及設(shè)備，仍舊需要廠商們?nèi)ブ鸩教剿鳌?/p>

其中，自研基因不斷提高的華為，無疑是最值得期待的廠商之一。從底層芯片、軟件系統(tǒng)到上層算法，華為正在構(gòu)筑更加開闊和豐富的生態(tài)；這種全棧自研也使得華為能夠?qū)I與OS的融合更加透徹。再加上背靠全球億萬用戶、多年來對(duì)終端用戶需求的深刻理解，華為的優(yōu)勢(shì)不言而喻了。

不過，說一千道一萬，該怎么把AI融入到OS里，關(guān)鍵還得看用戶的想法。

AI手機(jī)火了一年，你對(duì)哪個(gè)新能力最有feel？原因是什么？還希望看到哪些大模型玩法來到手機(jī)等終端設(shè)備上？

歡迎評(píng)論區(qū)嘮兩句~