華為率先把大模型接入手機！小藝+大模型，智慧助手智商+++

明敏 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

好家伙，華為HarmonyOS接入大模型，智慧助手可以這么玩了嗎？

只需一句中文指令，華為小藝就寫出一封英文郵件：

可以把自己的照片用AI做成不同風(fēng)格：

還能說一長串指令，讓它自己創(chuàng)建復(fù)雜場景，大白話就能聽得懂：

這就是華為HarmonyOS 4中的全新小藝。

它是在華為盤古L0基座大模型的基礎(chǔ)上，融入大量場景數(shù)據(jù)，對模型進行精調(diào)，最后煉成的一個L1層對話模型。

能搞定文本生成、知識查找、資料總結(jié)、智能編排、模糊/復(fù)雜意圖理解等任務(wù)。

而且也可以調(diào)用各種APP服務(wù)，實現(xiàn)系統(tǒng)級的智能化體驗。

所以，全新華為小藝，到底能做哪些事？

更聰明、更能干、更貼心

基于大模型能力，華為小藝這一次主要在三方面做了升級：

• 智慧交互
• 高效生產(chǎn)力
• 個性化服務(wù)

具體能力提升包括更自然語言對話、玩機知識問答、查找生活服務(wù)、對話識別屏幕內(nèi)容、生成摘要文案圖片等。

首先，智慧交互升級讓對話、交互更自然流暢了。

華為小藝可以聽懂大白話，理解模糊意圖和復(fù)雜命令。

找不到最新的壁紙設(shè)置功能、也不知道功能名稱，可以直接問：

那個可以根據(jù)天氣實時變化的壁紙怎么換？

或者是一個復(fù)雜的命令，包含多個要求的那種：

找一家松山湖附近，評分高的海鮮餐廳，最好有適合四個人的優(yōu)惠套餐。

小藝也能調(diào)用服務(wù)找到滿足要求的餐廳。

同時小藝也具備多模態(tài)能力，能理解圖像內(nèi)容。這樣原本需要用戶自己看完再手動操作的步驟，也能交給小藝了。

比如讓它看一張邀請函，然后說：

導(dǎo)航去圖上的地址。

它能夠提取出圖上地址信息，并調(diào)用地圖服務(wù)導(dǎo)航。

或者是把邀請函中的聯(lián)系信息保存，可以看到它能夠很好理解圖像中的文本信息。

更進一步，現(xiàn)在還能通過小藝進行復(fù)雜任務(wù)編排，不用咱們自己手動反復(fù)設(shè)置了。

比如可以讓它設(shè)置一個晨跑場景：

幫我創(chuàng)建晨跑場景。每周一到周五早上6點半為我播報當(dāng)天天氣。當(dāng)我戴上藍牙耳機的時候，就播放收藏的歌曲，并把手機設(shè)為靜音模式。

小藝能夠聽懂這一長串要求，再去調(diào)用不同功能。并且可以基于手機狀態(tài)（是否連接藍牙耳機），來自行判斷是否要執(zhí)行某些操作。

其次，得益于大模型等能力加持，現(xiàn)在小藝可提供更高效的生產(chǎn)力工具。

幫你看、讀、寫都沒問題。

比如給它看一篇英文文章，然后提問這篇文章中講了什么？

小藝就能用中文做出通俗簡潔的解釋。

如果用戶過去讓它記住過一些信息，也能調(diào)用出來生成相應(yīng)內(nèi)容。

過幾天就要約David見面聊項目了，結(jié)合上次會議記的信息，寫一份英文會議預(yù)約郵件。

包括開頭提到的，小藝也能利用AI視覺能力，將照片創(chuàng)作成多種風(fēng)格。

最后，作為智慧助手，小藝現(xiàn)在支持更加個性化服務(wù)，也能更懂你。

可以當(dāng)記事本、備忘錄使用，一些小事都能通過口頭完成記錄。

華為表示，所有記憶內(nèi)容都是在用戶授權(quán)下完成，會充分保護用戶隱私。

此外小藝建議如今也可以感知到更多用戶的高頻場景，能主動提供一站式的智慧組合建議，省去很多自己手動查找的過程。

比如在出境旅游的場景下，出發(fā)前小藝能實時提醒最新匯率、兌換外幣、幫助用戶即時獲取目的地游玩攻略；到達目的地后，還能提醒行李轉(zhuǎn)盤信息、一鍵開啟境外流量、快速獲取實時翻譯工具等。

據(jù)介紹，全新小藝智慧場景增加3倍，POI數(shù)量提升了7倍，能夠覆蓋核心餐飲購物門店、商圈、機場高鐵站等場景。

總結(jié)來看，全新小藝不僅獲得了最新的AIGC能力，還改善了手機語音助手過去經(jīng)常被詬病的一些短板。

如沒有記憶力、對話呆板、聽不懂大白話等……

這一切當(dāng)然得益于大模型的加持，不過小藝具體是怎么做的？

小藝擁抱大模型

小藝依托的底層模型是華為盤古系列。

今年7月，華為正式發(fā)布盤古大模型3.0，并提出3層模型架構(gòu)。

• L0：基礎(chǔ)大模型，包括自然語言、視覺、多模態(tài)、預(yù)測、科學(xué)計算；
• L1：N個行業(yè)大模型，比如政務(wù)、金融、制造、礦山、氣象等；
• L2：更細化場景的模型，提供“開箱即用”的模型服務(wù)

其中L0層基礎(chǔ)大模型最大版本包含1000億參數(shù)，預(yù)訓(xùn)練使用了超3萬億tokens。

小藝正是在華為盤古L0基座大模型的基礎(chǔ)上，針對終端消費者場景構(gòu)建了大量的場景數(shù)據(jù)，并對模型進行精調(diào)，最后煉成的L1層對話模型。

在精調(diào)中，小藝加入了覆蓋終端消費者的主流數(shù)據(jù)類型，如對話、旅游攻略、設(shè)備操控、吃穿住行等。

這能很好覆蓋普通用戶日常對話的知識范圍，并且可以增強模型對話過程中的事實性、實時性以及安全合規(guī)等。

不過眾所周知，大模型因為規(guī)模大的特性，在部署和快速響應(yīng)上都很有挑戰(zhàn)。

部署方面，華為正在不斷增強大模型端云協(xié)同的能力，端側(cè)大模型可以先對用戶請求和上下文信息做一層預(yù)處理，再將預(yù)處理后的request請求到云側(cè)。

這樣做的好處是，既能發(fā)揮端側(cè)模型響應(yīng)快的優(yōu)勢，又能通過云端模型來提升問答和響應(yīng)質(zhì)量，同時也能更進一步保護用戶隱私數(shù)據(jù)。

而在降低推理時延上，華為小藝做了系統(tǒng)性工程優(yōu)化，包含從底層芯片、推理框架、模型算子、輸入輸出長度等全鏈路。

通過對各個模塊時延進行拆解，研發(fā)團隊明確了各部分優(yōu)化目標(biāo)，利用算子融合、顯存優(yōu)化、pipeline優(yōu)化等方式降低時延。

同時prompt長度和輸出長度也會影響大模型推理速度。

在這方面，華為針對不同場景的prompt和輸出格式做了逐字分析和壓縮，最終實現(xiàn)推理時延減半。

從整體技術(shù)架構(gòu)來看，華為小藝和大模型的融合，不是簡單對聊天、AIGC、回復(fù)等任務(wù)進行增強，而是以大模型為核心，進行了系統(tǒng)級增強。

換言之，就是讓大模型成為系統(tǒng)的“大腦”。

其底層邏輯是：將用戶的任務(wù)分配給合適的系統(tǒng)，各個系統(tǒng)各司其職，同時在復(fù)雜場景上增強體驗。

具體來看小藝的典型對話流程，一共可分為三步：

第一步，接收用戶問題，基于上下文理解/小藝記憶的能力，分析問題該如何處理。

第二步，根據(jù)請求類型調(diào)用不同能力，包括元服務(wù)檢索、創(chuàng)意生成、知識檢索。

如果用戶發(fā)起的請求涉及到元服務(wù)，比如他詢問附近有哪些可以聚會的餐廳，這就涉及到了美食APP服務(wù)的調(diào)用，系統(tǒng)需要API生成，最后由服務(wù)方基于推薦機制給出響應(yīng)。

如果用戶詢問的是知識問題，比如問盤古大模型有多少參數(shù)。這時系統(tǒng)會調(diào)用搜索引擎、對應(yīng)領(lǐng)域知識、向量知識進行查詢，然后融合生成答案。

如果用戶的請求是生成式任務(wù)，那么大模型自身能力即可給出回復(fù)。

最后一步，所有生成的回答會經(jīng)過風(fēng)控評估，再返還給用戶。

除此之外，小藝在細節(jié)上也做了更進一步的把控，進行了一系列底層開發(fā)，以確保問答、執(zhí)行任務(wù)的效果。

可以來看數(shù)據(jù)方面。

小藝從2017年起在HarmonyOS上線后，對普通用戶的對話習(xí)慣已經(jīng)有了一定積累。在此之上，華為又構(gòu)建了大量不同類型表達的語料庫，盡可能覆蓋更多文字和口語表達，讓大模型在預(yù)訓(xùn)練階段中就能精通各種表達。

為了能更好評估提升小藝能力，華為構(gòu)建了一個完整測試數(shù)據(jù)集。

這不僅能評測現(xiàn)有開放大模型能力，也能基于評測結(jié)果指導(dǎo)小藝在數(shù)據(jù)和能力上的構(gòu)建。

想讓小藝掌握工具調(diào)用，挑戰(zhàn)性也很高。

設(shè)備控制需要大模型生成長達數(shù)百個token的復(fù)雜格式文本，其中不能出現(xiàn)任何格式錯誤，否則中控系統(tǒng)將無法解析和對接。

為了讓大模型能達到如此生成標(biāo)準，華為一方面用prompt摸清楚大模型的“脾氣”，同時加強大模型的代碼能力，進而增強模型的格式遵從能力，最終實現(xiàn)了格式幾乎百分百遵從。

而針對復(fù)雜場景，小藝的方式是先利用大模型能力充分學(xué)習(xí)和理解工具場景，再進行推理。

據(jù)了解，團隊優(yōu)化模型設(shè)備控制效果從完全不可用，提升為可用度超8成。

加之原生HarmonyOS也使得優(yōu)化現(xiàn)有API成為可能，通過這種反向適配，也能更好發(fā)揮大模型特長。

面向全場景、不局限于手機端

所以，為什么是華為能如此迅速將大模型能力部署到智慧助手上？

在底層基礎(chǔ)研發(fā)的積累和攻關(guān)必不可少，不過還有一點值得關(guān)注——

華為選擇了從實際場景做切入，來確定該如何讓大模型和智慧助手乃至整個操作系統(tǒng)做結(jié)合。

用華為自己的話來說就是：

Talk is cheap. Show me the Demo.

而以上展示的諸多體驗，也都來自于華為研發(fā)團隊成員日常感知到的場景。

比如有人習(xí)慣上下班開車路上獲取新聞，對于太長資訊只能看不方便聽，所以在華為小藝中出現(xiàn)了資訊總結(jié)的功能。

還有人發(fā)現(xiàn)自己在寫購物評論、生日祝福的時候總是詞窮，所以華為小藝提供了文案生成功能。

而這種對場景體驗的關(guān)注，是HarmonyOS的天生優(yōu)勢。

從誕生起，HarmonyOS便沒有局限于手機端，而是面向多種終端、全場景。

如今已經(jīng)打造出“1+8+N”全場景生態(tài)。

華為小藝現(xiàn)在也已部署在了1+8設(shè)備上，未來將結(jié)合全場景設(shè)備的業(yè)務(wù)形態(tài)，逐步把擁有大模型能力的小藝部署到消費者全場景體驗之上。

而小藝作為一個AI驅(qū)動的智慧助手，從誕生起也在不斷集成各種AI能力，如AI字幕、小藝朗讀等。其背后研發(fā)團隊，也始終關(guān)注AI與智慧助手的更多可能。

據(jù)透露，去年團隊便留意到百億規(guī)模的預(yù)訓(xùn)練模型結(jié)合prompt提示技術(shù)，已經(jīng)可以帶來非常不錯的文本理解和生成能力了，并能在閑聊、問答、任務(wù)式對話上有應(yīng)用。

隨著最新一輪AI趨勢爆發(fā)，RLHF給大模型帶來顯著提升，產(chǎn)業(yè)落地的大門正式開啟。

今年生成式AI趨勢發(fā)生以來，諸多應(yīng)用都選擇接入大模型能力、內(nèi)置智慧助手。

但華為作為全球最懂操作系統(tǒng)的廠商之一，選擇從更底層切入，用大模型來重塑OS。

更底層，意味著更徹底、更全面。

但對于研發(fā)來說，挑戰(zhàn)也更大。

這不僅需要足夠堅實的模型底座，還需要進行系統(tǒng)級的融合優(yōu)化，同時也對場景理解、用戶需求感知提出要求。

對應(yīng)來看：華為是最早具有大模型能力的國內(nèi)廠商之一；構(gòu)建全棧AI開發(fā)能力；HarmonyOS覆蓋7億+設(shè)備……

由此，也就不難理解為什么華為小藝會快速接入大模型能力，讓HarmonyOS 4成為如今首個全面接入大模型的操作系統(tǒng)。

而作為全球最受關(guān)注的操作系統(tǒng)之一，HarmonyOS率先擁抱大模型，或許也會開啟一種新范式，讓人人打開手機就能體驗大模型能力，不再局限于想象之中。

目前，華為已公布小藝測試計劃：

全新小藝將在今年8月底開放邀請測試，并于晚些時候在搭載HarmonyOS 4.0及以上的部分機型通過OTA升級體驗，具體升級計劃稍晚公布。

感興趣的童鞋，可以來蹲蹲看~