2025 AI手機(jī)交互體驗：它能說會道，有眼有腦，是更聰明更懂你的AI伙伴

克雷西 2025-01-09 17:03:50 來源：量子位

克雷西 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

終于，5202年了，手機(jī)助手也乘著AI的快車，變得越來越好用了！

不僅內(nèi)置了多模態(tài)大模型“大腦”，擁有超強(qiáng)的思考和對話能力，還長出了“眼睛”，可以看到屏幕內(nèi)外的世界。

實際上，這正是此時此刻AI手機(jī)正在呼喚的一種全新交互方式，期待拉近人與設(shè)備之間的距離，期待讓交互變得更加自然。

手機(jī)之所以是現(xiàn)在這個形態(tài)，主要為了適應(yīng)多點觸控的交互方式，從喬布斯時代、從觸屏誕生的那段時間開始就沒有過改變。

但能夠響應(yīng)人的自然語言，和人溝通交互、理解并執(zhí)行指令的助理，才是更加自然的交互方式。

而隨著多模態(tài)能力的解鎖，這種新的科技樹也被點亮，手機(jī)的軟硬件將被重塑。

讓手機(jī)成為你的專屬助理

以最早把“AI手機(jī)”這個概念打在公屏上的OPPO為例，OPPO把多模態(tài)能力引入到了小布助手當(dāng)中，讓它不再只是一個對話機(jī)器，而是能夠更全方位地理解并處理人類的意圖。

通過語音、電源鍵和長按導(dǎo)航條這三種方式，我們就能把小布助手召喚出來，然后動動嘴就能向手機(jī)發(fā)號施令。

不妨先來通過“一鍵問屏”，看看小布助手的強(qiáng)大視覺本領(lǐng)和思考能力。

假如我們看到一棟建筑（上海中心），想要知道它到底是什么，那就可以叫小布助手出場了。

不用傳圖，也不用多解釋，召喚出小布助手后，直接問它這是啥，就能得到滿意的答案。

而且支持多輪對話，可以接著問這里能不能參觀，有什么值得看，甚至直接制定出一份旅游攻略。

并且小布助手的這種視覺能力不僅能識別屏幕里的東西，還能借助相機(jī)，“看”見身邊的一切。

假如我們看到了一堆植物（羽衣甘藍(lán)）十分好奇：

直接打開相機(jī)對準(zhǔn)它，然后召喚出小布，讓它來告訴我們，而且還能接著追問，這東西能不能吃、怎么吃才好吃。

再插播一句，超級小布助手是首家支持在相機(jī)界面做識屏問答的，后來很多友商也陸續(xù)推出類似功能，說明了小布助手的這種模式，是OPPO的一次成功布局。

而且之所以敢叫超級小布助手，是因為它還有兩把刷子——不僅有“眼睛”能看、有“頭腦”會思考，還長出了“手腳”，能夠執(zhí)行用戶指令。

還是拿一鍵問屏來舉例，假設(shè)量子位要從公司出發(fā)前往MEET大會現(xiàn)場，那么只要告訴小布助手，我要去屏幕上的這個地方，小布助手就會自動開啟導(dǎo)航。

既不用復(fù)制粘貼目的地地址，也不用手動設(shè)置，說一句話就能即可出發(fā)。

總之呢，全面升級的超級小布助手，確實讓手機(jī)的使用方式變得和以前不一樣了。

有更多的用戶開始通過小布助手來進(jìn)行手機(jī)的操縱，其中使用電源鍵喚起小布助手的相比前一代提升30%，電源鍵成為了小布助手喚起人數(shù)Top1入口。

而且超級小布助手，還憑借自身的超能力，順帶也完成了一波“用戶教育”的目的——

小布助手的強(qiáng)大能力，反向刺激了用戶的需求，光是一項識屏能力，就直接帶動了百科和教育類的問答需求提升。

用戶數(shù)據(jù)顯示，近30%的一鍵問屏用戶會在相機(jī)界面對準(zhǔn)想要識別的內(nèi)容后，直接喚起小布助手進(jìn)行問答；70%的用戶會在多模態(tài)交互中使用通用問答的功能。

所以，超級小布助手如此神奇的超能力，到底是來自于哪里呢？

背后是自研大模型和智慧框架

能聽、看、說、做的超級小布背后，是集語言、視覺、語音等多種模態(tài)于一體的OPPO SenseNow框架。

先說聽，這是我們和小布助手發(fā)生交互的第一個環(huán)節(jié)，SenseNow框架集成了OPPO自主研發(fā)的語音多級喚醒和個性化識別技術(shù)，使語音喚醒和識別的準(zhǔn)確率達(dá)到97%以上。

SenseNow框架通過檢索增強(qiáng)多模態(tài)理解技術(shù)，具備了“看”的能力，是SenseNow智慧框架的核心，讓超級小布助手實現(xiàn)了圖文混合檢索，支持1000多種主體的識別。

像前面看到的一系列場景，超級小布助手能夠從根據(jù)看到的畫面回答我們各式各樣的問題，靠的都是這種多模態(tài)理解和檢索能力。

SenseNow框架還集成了生成式語音合成框架，使超級小布助手能夠模擬真人語氣和節(jié)奏，并支持超過20種個性化音色。

可以說，OPPO SenseNow框架讓超級小布助手在看、聽、說上都表現(xiàn)得像一個真實的人，能夠幫助解答我們所見到的各種疑惑。

但OPPO SenseNow框架還有一大亮點，那就是擁有執(zhí)行力。

就像前面看到的，只要給出一個指令，超級小布助手就會根據(jù)圖片中看到的地址喚起導(dǎo)航，按照時間信息加入日程表……

SenseNow智慧框架可以融合語音、文本和圖片等不同類型的信息源，理解用戶的復(fù)雜意圖，完成跨應(yīng)用的無縫操作。

超級小布支持超過1000+項用機(jī)指令，讓用戶只需要簡單的語音指令，就可以完成對應(yīng)的手機(jī)設(shè)置或應(yīng)用操作。

領(lǐng)先能力的背后，OPPO擁有在多模態(tài)領(lǐng)域擁有領(lǐng)先的布局和前瞻性的思考，所以，全新升級的小布，在手機(jī)助手的多模態(tài)時代搶先占據(jù)了一席之地。

多模態(tài)助手正在改變手機(jī)交互方式

小布助手是一個縮影，其所代表的多模態(tài)手機(jī)助手，正在改變著手機(jī)的交互方式。

比如相機(jī)實景持續(xù)問答——網(wǎng)絡(luò)速度的提升和大模型能力的升級，多模態(tài)大模型可以支持實時的逐幀視覺識別和分析推理，根據(jù)攝像頭看到的景象和用戶像真人一樣交流，把電影《Her》當(dāng)中的場景搬進(jìn)現(xiàn)實。

除了我們在大模型領(lǐng)域常見的多模態(tài)（文本、視覺、語音）之外，近年來智能傳感器的技術(shù)也有了飛速的發(fā)展。

手機(jī)上除了常見的攝像頭、麥克風(fēng)外，溫度、氣壓等傳感器技術(shù)也正在逐漸成熟。

通過對更多維度的環(huán)境信息的感知，智能助手可以更清晰地理解用戶當(dāng)前的狀態(tài)，通過簡單的指令就可以完成用戶需求。

舉個最簡單的例子，如果用戶問喉嚨不舒服怎么辦，AI可以根據(jù)傳感器獲得的體溫狀況、地理位置、天氣情況和環(huán)境的溫度濕度，綜合判斷給出咨詢建議，比如是要上加濕器，還是要找醫(yī)生尋求幫助。

并且隨著手機(jī)助手的不斷普及，未來像小布這樣搭載多模態(tài)能力的語音助手，將改變?nèi)伺cAPP的交互方式，隨著更多應(yīng)用和服務(wù)API的接入，語音助手調(diào)用服務(wù)將更加高效和流暢。

并且未來還能夠?qū)崿F(xiàn)跨越不同APP的復(fù)雜操作，比如根據(jù)旅行攻略讓語音助手幫你完成沿途所有的行程/住宿和景點門票的預(yù)定安排。

在新的交互模式之下，語音助手不僅可以利用多模態(tài)信息推測人類意圖并調(diào)用適當(dāng)服務(wù)，還可以利用記憶能力，了解你說話的風(fēng)格，衣食住行的偏好，并基于當(dāng)前的情況提供個性化服務(wù)推薦，變得更加專屬化、個性化。

想象一下，未來你掏出手機(jī)，簡單的一句話AI 就能為你完成所有的安排，那時的手機(jī)就像一個私人助理、像一個伙伴。

到那時，人與硬件之間的關(guān)系也將發(fā)生改變。

回到當(dāng)下，超級小布助手作為OPPO打出的一套AI組合拳中重要的一環(huán)，以多模態(tài)智能助理的形態(tài)，為打造更加智能化的AI系統(tǒng)、AI手機(jī)，徹底改變交互形態(tài)而鋪路。

毫無疑問，超級小布助手這種視覺感知+多模態(tài)智能交互的形式，正是這個方向之上誕生的一大成果。

同時，超級小布助手來自于OPPO，來自于終端廠商，因此擁有系統(tǒng)層級的調(diào)度能力，這更是第三方智能助手類產(chǎn)品無法比擬的優(yōu)勢。

并且用戶數(shù)據(jù)已經(jīng)證明，超級小布助手正在逐漸重塑用戶的使用習(xí)慣，用技術(shù)的跨越倒逼用戶產(chǎn)生新的需求。

OPPO希望，超級小布助手能夠成為實用專屬的AI伙伴。而目前市場表現(xiàn)看來，已經(jīng)獲得了初步成果。

作為最早把AI手機(jī)打上公屏的手機(jī)玩家，OPPO正在持續(xù)刷新移動交互形態(tài)，讓AI重塑手機(jī)能力和邊界。