沒繃住，vivo提前“泄密”大模型能力

明敏 蕭簫 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

最賣座的安卓手機，竟然要實 裝 大 模 型 了？！

據(jù)傳還是發(fā)布即可用那種——新版手機系統(tǒng)直接搭載，不整虛的。

要知道，雖然國產(chǎn)大模型百花齊放，但手機端“百模大戰(zhàn)”，可以說是才剛進入熱身階段。

自研大模型的手機廠商已有不少，但真正裝進手機系統(tǒng)中的，還幾乎沒有。

搞出這個大新聞的，正是已連續(xù)兩年國內(nèi)份額第一的藍(lán)廠vivo。

vivo悄悄自研手機AI大模型的消息傳得沸沸揚揚，據(jù)傳定檔11月1日vivo開發(fā)者大會。

從vivo負(fù)責(zé)人劇透的消息中，可以窺見三個要點：

• 一口氣發(fā)布5個大模型
• 大模型嵌入手機，當(dāng)助理還會畫畫
• 70億版本大模型，對行業(yè)開放可用

vivo副總裁、全球AI研究院院長周圍，還提前兩周在微博上“泄露”了一番大模型的能力：

一套連貫操作下來，網(wǎng)友先激動了。

還有網(wǎng)友已經(jīng)在幻想工作量驟減的場景了。

所以，這番vivo官宣大模型，究竟放出了哪些信號？具體到手機端上，又會帶來哪些功能的改變？

vivo大模型，哪些信號已劇透？

先來看看vivo大模型的曝光信息。

vivo新版自研大模型，取名vivoLM。

這次要發(fā)布的vivoLM一共有5個版本，參數(shù)量分成十億（1B/7B）、百億（66B）和千億（130B/175B）三個級別。

無論是70億大模型版本，還是參數(shù)量更大的版本，vivoLM都已經(jīng)提前在兩大中文大模型評測榜單C-Eval和CMMLU上“刷榜”了一波。

在C-Eval榜單上，vivoLM取得了平均82.3分的榜一成績，尤其在STEM、人文學(xué)科上表現(xiàn)突出；

而在CMMLU榜單上，無論是Five-shot（僅給5個樣本示例）還是Zero-shot（0樣本示例），vivoLM-7B版本都占據(jù)了TOP 1，并同樣在人文學(xué)科上“一騎絕塵”。

值得一提的是，登頂CMMLU榜單的vivoLM-7B即70億版本大模型，正是vivoLM將對外開放的版本。

當(dāng)然，無論是哪個版本，vivoLM此次發(fā)布的目的都非常明確——

放進vivo最新版本的手機系統(tǒng)OriginOS 4中，作為手機助理感知用戶需求、識別意圖并輔助決策。

但眾所周知，相比其他應(yīng)用領(lǐng)域，手機端實際上是大模型最難落地的場景之一。

一方面，受體積、耗電量所限，手機端側(cè)算力相比云端算力“少得可憐”。

以“大”著稱的大模型，如果直接部署在端側(cè)，往往難以取得較好的使用效果，即使能運行起來，推理速度也不及預(yù)期，按周圍的話來說就是：

如果做輸入法的出詞推薦，2秒才能出一個詞。

但縮小模型體積，效果肯定會打折扣。

另一方面，如果將大模型直接上傳到云端聯(lián)網(wǎng)使用，又會失去端側(cè)部署的優(yōu)勢。

例如，大模型原本可以根據(jù)用戶信息，在手機上個性化定制手機助理，且確保信息不上傳到云端；但如果大模型在云端加載，勢必要將個人信息通過網(wǎng)絡(luò)上傳，隱私安全無法保障。

除此之外，云端運行大模型的成本非常高。周圍介紹稱：

vivo有3億中國大陸用戶，如果每天用10次，一天的運算成本大概是3000萬元，一年需要花費約90-100億元。

vivo究竟是怎么將大模型部署到手機端的？

從vivoLM已劇透的大模型參數(shù)設(shè)置、以及目前已有的一些大模型運行研究來看，或許能推測出其中用到的一些“技巧”。

技巧之一，在于大模型的參數(shù)設(shè)計，不同的參數(shù)量級，分別用于處理不同的任務(wù)。

其中，最小的大模型，包括10億和70億參數(shù)的模型，可以直接部署在端側(cè)，確保耗電量不高。

涉及用戶信息等個性化任務(wù)需求時，可以用這類大模型來完成，例如一鍵將備忘錄內(nèi)容加入日歷、并設(shè)置鬧鐘提醒。

更大的大模型，如660億、1300億和1750億參數(shù)的大模型，則根據(jù)任務(wù)難度來決定調(diào)用情況。

畢竟從目前學(xué)界公認(rèn)的說法來看，大模型“智力涌現(xiàn)”所需的參數(shù)量級，幾百億足矣。

像用超大模型如GPT-4來總結(jié)電子郵件的行為，就一直被調(diào)侃為“開蘭博基尼送披薩”。（手動狗頭）

所以，遇上“難度系數(shù)較低”的任務(wù)時，可以切換更小的模型來進行，更復(fù)雜的如對上下文長度和輸出效果要求更高的任務(wù)，再調(diào)用千億參數(shù)大模型來完成。

技巧之二，在于大模型的運行方式，不依靠單一算力，而是云端協(xié)同的方式兼顧運行速度和體驗。

目前，上千億的大模型尚難以部署到手機端，即使能部署，運行速度和耗電量也無法接受。

至少從目前業(yè)界已有研究來看，靠端云協(xié)同的方式來運行大模型并非不可能之事。

以谷歌和DeepMind同時推出的投機采樣（speculative sampling/decoding）為例，這項技術(shù)就能在提升大模型推理速度的同時，確保生成效果。

具體而言，它將一個大模型和一個較小的大模型（draft模型）進行組合，來解決大模型推理時的“內(nèi)存限制”問題。

然而，這個較小的模型并非“隨便就能找到”，它必須和大模型“配套”，例如接口要統(tǒng)一、概率分布也要接近等。

vivoLM這5個大模型如果相互“配套”，就能運用類似技術(shù)來實現(xiàn)端云協(xié)同的效果：大模型在云端進行計算，更小的模型則放在端側(cè)運行，能節(jié)省相當(dāng)?shù)耐评沓杀尽?/p>

這一套大小組合拳下來，搭載大模型的vivo手機新系統(tǒng)會擁有什么新功能，似乎也能管中窺豹一番。

使用方法上，vivoLM目測會以語音助手的形式作為入口，作為全機的“智能助理”隨叫隨到；

具體功能上，又主要可能分為三大類：

生成類任務(wù)，如郵件智能撰寫、AI頭像生成等；

復(fù)雜任務(wù)調(diào)度，如一鍵總結(jié)通話內(nèi)容、設(shè)置特定使用場景等；

意圖理解，如根據(jù)模糊需求定制差旅等。

隨著大模型的不斷“進化”，更豐富的功能還會出現(xiàn)。周圍認(rèn)為：

大模型在手機上的應(yīng)用，有輔助智能和主動智能兩個應(yīng)用階段。在主動智能階段，還有相對高階的呈現(xiàn)。

所以，vivo搭載大模型的新系統(tǒng)，究竟是否值得期待一波？

為什么值得期待？

最直接的原因當(dāng)然是玩手機可以更爽了。

而且這也順勢把更多人推入最新一輪科技浪潮中，擁抱大模型，切實感受AI影響下人機交互的變革。

更深層的原因則在于，vivo作為頭部手機廠商自研大模型，本身就令人期待。

其一，vivo自研AI大模型一定是用戶導(dǎo)向型的。

它有明確的應(yīng)用落地場景——手機；清晰的目標(biāo)——用AI重塑操作系統(tǒng)。

這使得vivo自研大模型將會天生和手機操作系統(tǒng)更加適配，從而能激發(fā)出大模型在端側(cè)應(yīng)用的更多潛力。

其二，vivo本身有著扎實自研功底，在AI領(lǐng)域更是深耕多年。

如今一朝推出自研大模型，不僅是研發(fā)實力的再一次自證，更能從這一成果中窺探出vivo對于最新技術(shù)趨勢的理解。

vivo的AI戰(zhàn)略最早起始于2017年，vivo創(chuàng)始人兼總裁沈煒當(dāng)時提出：

人工智能是所有技術(shù)創(chuàng)新的最底層技術(shù)，在未來很長一段時間，我們都應(yīng)該去“過飽和”的投入。

vivo人工智能全球研究院也在這一年開始籌備，2018年正式成立。

由此vivo也成為首批設(shè)立專攻人工智能方向研究院的中國手機公司之一。

數(shù)據(jù)顯示，自成立起至今，vivo AI研究院就維持著千人規(guī)模的研發(fā)團隊。到2021年，vivo已有超過600人專注研發(fā)大模型。

2018年以來，vivo累計在頂級期刊發(fā)表高水平論文70余篇，并持續(xù)將頂尖學(xué)術(shù)成果轉(zhuǎn)化為算法和工程應(yīng)用。

同時還成立了圖譜研究院，通過專業(yè)團隊建設(shè)知識圖譜，目前已累計2800TB數(shù)據(jù)。

而在AI之外，vivo在芯片、系統(tǒng)軟件、影像算法等方面的自研實力同樣不俗。

從2021年至今，vivo自研影像芯片已推出三代。

最新一代V3采用6nm制程，在安卓手機上實現(xiàn)了首次4K電影人像視頻和4K級拍后編輯。

而且還能實現(xiàn)大量自研影像算法同時開啟的效果。

如AI降噪、MEMC插幀算法、HDR技術(shù)以及圖像變焦算法等，V3都能同時處理，并將延遲保持在用戶可接受范圍內(nèi)。

系統(tǒng)軟件方面，vivo在安卓系統(tǒng)上提出了自己的理解：OriginOS，讓系統(tǒng)交互和設(shè)計更加人性化。

比如點贊頗多的原子通知和原子組件，就很好體現(xiàn)了OriginOS更直觀的交互邏輯，通過點、觸、滑動能直接使用組件功能。

OriginOS 3中的側(cè)邊欄，具備場景識別能力，能根據(jù)用戶正在瀏覽的界面，在側(cè)邊欄中匹配所需的應(yīng)用。

此外，vivo還將諸多創(chuàng)新技術(shù)注入OriginOS，從系統(tǒng)更底層帶來更加絲滑流暢的操作體驗。

OriginOS的智算中樞基于上中下三層框架創(chuàng)新，底層實現(xiàn)基礎(chǔ)能力突破、中層對資源調(diào)度優(yōu)化、上層升級視覺與操控感知。

還自研了“不公平調(diào)度”，可實現(xiàn)系統(tǒng)資源優(yōu)先調(diào)度至前臺，暫緩后臺需求，提升運行流暢度。

在更前沿的技術(shù)探索上，vivo的布局也相當(dāng)超前。

比如vivo從2019年開始就已經(jīng)啟動了6G項目，2020年10月發(fā)布6G系列白皮書，2022年對外展示一系列6G核心技術(shù)原型機。包括通信感知一體化的無線呼吸監(jiān)測與目標(biāo)測距測速，基于反向散射的極低功耗通信，以及AI通信四臺原型機。

而且這些在6G上的研發(fā)投入還號稱“不設(shè)預(yù)算上限，該投多少就投多少?！?/p>

綜上，vivo自研大模型，確實值得期待。

不僅因為它是又一家快速跟進大模型趨勢的頭部手機廠商，更在于vivo有著對手機場景的深刻理解，同時還具備可觀的技術(shù)儲備和自研能力。

它的大模型答卷能直接影響到普通用戶，也為行業(yè)帶來了一份新的理解和參考，甚至也會為推動大模型趨勢向端側(cè)發(fā)展做出貢獻。

vivo自研AI大模型意味著什么？

首先對于普通人來說，一個有大模型打底的手機操作系統(tǒng)，幾乎是最便捷擁抱大模型的入口。

最新一輪技術(shù)趨勢席卷而來，試問誰不想快速嘗鮮、跟上潮流、甚至用技術(shù)改變生活？

但大模型的使用確實還存在一定門檻。而且對于很多人來說，最新技術(shù)該怎么用、用在哪，都還是個問題。

而手機剛好能成為一個連接大模型和普通人的平臺，并且直接提供了使用場景，操作門檻也不高。

由此，新一代人機交互的底層邏輯，不知不覺間滲透到了大眾群體之中。

其次對于行業(yè)而言，vivo入局大模型不是意料之外，而是必然使命。

ChatGPT帶起行業(yè)趨勢后，人們對于超級AI助手的想象更加具體了，鋼鐵俠的賈維斯也在過去一段時間內(nèi)被反復(fù)討論。

回到現(xiàn)實中來看，離這一角色最近的，不正是手機中的語音助手嗎？所以對于手機行業(yè)來說，給語音助手注入大模型能力，幾乎是水到渠成的事。

但并不意味著這件事很簡單。

如何讓普通用戶能深切感受到大模型的能力？如何與上一代語音助手明顯區(qū)分？如何實現(xiàn)真正意義上的更便捷、更高效？這些模糊要求背后，需要一個個明確的行動目標(biāo)和具體技術(shù)作為支撐。

誰有能力搞定這些問題？

當(dāng)然是既懂AI、又懂手機，還要能一線觸及廣大普通消費者的那個廠商，vivo是會被想到的名字之一。

Canalys報告顯示，今年第二季度，vivo以18%市場份額位列國內(nèi)智能手機市場榜首。

作為頭部廠商，vivo更徹底、更全面接入大模型能力，不僅是對自家產(chǎn)品的重大升級，也是對行業(yè)發(fā)展的正向推動。

大模型趨勢給當(dāng)下發(fā)展成熟的手機產(chǎn)業(yè)帶來了新增長點，如何抓住趨勢、快速跟進，還要看各家廠商具體的行動。

從vivo的最新動向里不難看出：

• 第一，vivo肯定大模型趨勢，決定躬身入局；
• 第二，vivo認(rèn)為這會是一場全行業(yè)的行動，由此它們在發(fā)布大模型的同時，還要將70億參數(shù)版本模型的能力貢獻出來，把訓(xùn)練的能力、調(diào)優(yōu)的能力、各個行業(yè)數(shù)據(jù)熱拔插的能力，全部整合起來、貢獻出來。

更進一步，vivo還給行業(yè)帶來了自己的理解。

周圍此前在采訪中透露：

vivo從3-5年的角度去看行業(yè)可能出現(xiàn)的沖突和難題：大模型應(yīng)用如果要解決成本的問題就要上端，如果要上端的話就要解決系統(tǒng)最小權(quán)限和算力以及最重要的內(nèi)存資源的問題。

另外，要解決大家私有化、核心競爭力自我保護的問題，未來vivo將拿出解決方案，貢獻給行業(yè)。

而透過這樣的理解和規(guī)劃，也不難得出一個結(jié)論：

vivo入局大模型趨勢，更是給自己創(chuàng)造新的增長點。

結(jié)合行業(yè)近況不難發(fā)現(xiàn)，大模型的端側(cè)應(yīng)用競爭已露出苗頭。各大手機廠商紛紛押注大模型，自研也好、合作也罷，總之是要先在賽道中搶占優(yōu)勢身位。

但入局還只是完成了起跑。

畢竟大模型的應(yīng)用落地，如何持續(xù)迭代、不斷優(yōu)化、提升體驗更為關(guān)鍵，稍有不慎可能就會被彎道反超。這無疑對團隊的技術(shù)研發(fā)能力、產(chǎn)品理解能力和趨勢洞察能力都提出了更高要求。

所以，大模型端側(cè)應(yīng)用趨勢的到來，不僅給手機行業(yè)帶來新的增長周期，更帶來了一個覆蓋全行業(yè)的技術(shù)升級周期。

也怪不得有人提出，今年大模型重塑搜索引擎，明年或許就要重塑端側(cè)了。這也讓人更加期待由手機廠商自研的大模型，會帶來哪些新改變？

11月1日，vivo自研大模型將正式與大家見面。

你期待看到哪些升級和改變？歡迎評論區(qū)討論~