生成式AI終端和應(yīng)用 “雙向奔赴”，聯(lián)發(fā)科扮演關(guān)鍵角色

克雷西 2024-05-15 10:32:24 來源：量子位

克雷西 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

從PC到手機(jī)，甚至是智能穿戴……這些端側(cè)設(shè)備正與AI進(jìn)行著一場“雙向奔赴”。

一方面，端側(cè)設(shè)備的性能提升，給AI提供了新的土壤；

另一方面，AI正在改變端側(cè)設(shè)備的使用方式和體驗。

除了設(shè)備對AI的原生支持之外，第三方的AI應(yīng)用，特別是生成式AI應(yīng)用，也開始在端側(cè)生根發(fā)芽。

在這背后，無論是應(yīng)用還是設(shè)備本身，都不可避免地涉及一個問題——算力。

而芯片又是算力的重要載體，因此在端側(cè)AI生態(tài)中，芯片廠商扮演了不可或缺的角色，在競爭之中的表現(xiàn)也尤為積極。

近期，聯(lián)發(fā)科舉辦了首屆天璣開發(fā)者大會2024(MDDC 2024)，從產(chǎn)品、技術(shù)、市場、生態(tài)等多維度激發(fā)并引領(lǐng)了移動生態(tài)的積極性與活力。會上，聯(lián)發(fā)科推出了全新的旗艦5G生成式AI移動芯片9300+；聯(lián)合Counterpoint并攜手多個生態(tài)伙伴共同發(fā)布《生成式AI手機(jī)產(chǎn)業(yè)白皮書》；分享了生成式AI端側(cè)部署解決方案“天璣AI開發(fā)套件”；并啟動“天璣AI先鋒計劃”，促進(jìn)產(chǎn)業(yè)共創(chuàng)實現(xiàn)生態(tài)共贏。

算力，一切AI的基石

要研究AI的端側(cè)化，首先要解答的一個問題是，有了表現(xiàn)遙遙領(lǐng)先的云端模型，還需要在端側(cè)也部署AI？

首先，安全是其中最大的考量——無論是企業(yè)還是個人，顯然都不希望自己的機(jī)密或隱私在云上到處流傳。

而端側(cè)模型則解決了這一擔(dān)憂，所有數(shù)據(jù)都在本地處理，無需擔(dān)心泄露問題。

其次，考慮性能因素，雖然云端模型表現(xiàn)更強(qiáng)，服務(wù)的用戶數(shù)量也更多，但如果超出并發(fā)能力，就會出現(xiàn)延時排隊的現(xiàn)象。

不僅是云端自身的吞吐量，網(wǎng)絡(luò)的穩(wěn)定性也會造成影響。

而本地模型只為單一用戶服務(wù)，且無需聯(lián)網(wǎng)，這一優(yōu)勢特性與云端AI有著明顯的產(chǎn)品差異。

此外，端側(cè)設(shè)備龐大的用戶體量與黏著度，以及相對完整的應(yīng)用生態(tài)，也說明了端側(cè)部署AI的可行性，而手機(jī)則成為了部署端側(cè)生成式AI的最佳載體。

解決了AI對端側(cè)設(shè)備的需求問題，那么站在端側(cè)設(shè)備的角度，又為什么需要AI功能呢？

在AI時代，用戶對更智能、更個性化的服務(wù)當(dāng)然會有更高的期待，現(xiàn)有的操作方式，會隨著期待的升高顯得越來越“不夠智能”。

以手機(jī)為例，從按鍵到觸屏可以說是操作方式的重大革新。

而在當(dāng)前以APP為主的移動應(yīng)用生態(tài)下，即使用觸控代替了按鍵，也需要先選擇好并點擊具體的應(yīng)用，才能實現(xiàn)自己的意圖。

如果有了端側(cè)AI，具備多模態(tài)信息的輸入與輸出能力，能夠直接根據(jù)用戶意圖調(diào)用功能，將是手機(jī)操控方式的又一次飛躍。

這樣的功能，無疑有利于廠商提升旗艦機(jī)型實力，實現(xiàn)差異化競爭。

相互依存，各取所需，結(jié)果自然是AI和端側(cè)設(shè)備的雙向奔赴。

當(dāng)然只談需求也是不夠的，之所以AI能夠端側(cè)化，算力是不可或缺的。

實際上，哪怕是云端，算力的地位同樣舉足輕重。

此次天璣開發(fā)者大會上全新發(fā)布的天璣9300+旗艦5G生成式AI移動芯片，就包含了先進(jìn)的APU 790，提供了強(qiáng)勁的端側(cè)AI算力。

當(dāng)然，要討論算力，不能只看硬件所能提供的FLOPS（每秒浮點運(yùn)算次數(shù)），還要看設(shè)備上運(yùn)行的應(yīng)用能不能將其充分調(diào)度、充分利用。

為此，聯(lián)發(fā)科不僅推出了全新的天璣生成式AI移動芯片，還提供了天璣AI開發(fā)套件，包括快速高效的 GenAI 最佳實踐、覆蓋全球主流大模型的 GenAI Model Hub、高效提升性能的 GenAI 優(yōu)化技術(shù)和 Neuron Studio 一站式視覺化開發(fā)環(huán)境等四大模塊。

該套件將為廣大開發(fā)者提供“快、全、強(qiáng)、易”的專業(yè)開發(fā)體驗，賦能終端生成式AI應(yīng)用開發(fā)全流程。

應(yīng)用，AI與用戶的接口

除了算力，生態(tài)協(xié)作在端側(cè)AI領(lǐng)域也是繞不開的話題，其中應(yīng)用開發(fā)者是不可缺少的一環(huán)。

無論芯片還是設(shè)備，無論紙面上或?qū)嶒炇抑械男阅苡卸鄰?qiáng)，最終被用戶感知的，依舊是運(yùn)行應(yīng)用時的能力。

所以，應(yīng)用作為整個端側(cè)生態(tài)中最接近用戶的一環(huán)，其實際效果往往比參數(shù)量或其他技術(shù)指標(biāo)，對普通消費(fèi)者的選擇影響更為直觀。

意識到這一點之后，在同行還在參數(shù)量上卷的不可開交的時候，聯(lián)發(fā)科已經(jīng)在布局全場景AI應(yīng)用了。

在天璣開發(fā)者大會上，聯(lián)發(fā)科技攜手阿里云、百川智能、傳音、零一萬物、OPPO、榮耀、vivo、小米多家生態(tài)伙伴共同啟動“天璣AI先鋒計劃”，為全球開發(fā)者提供資源、技術(shù)支持和商業(yè)機(jī)會，幫助開發(fā)者在搭載天璣芯片的終端設(shè)備上打造創(chuàng)新的生成式AI體驗，以加速推動AI應(yīng)用落地。

目前，聯(lián)發(fā)科已經(jīng)攜手阿里云通義千問、Cocos、Honor of Kings、虎牙直播、酷狗音樂、美圖、全民K歌、RWKV、Soul、騰訊AI Lab、小紅書等數(shù)十家生態(tài)伙伴完成生成式AI應(yīng)用落地體驗，讓用戶在使用過程中直接感知到AI的存在。

以手機(jī)為例，在生成式AI應(yīng)用中，被討論最多的就是大模型，在天璣AI應(yīng)用生態(tài)中，就有阿里云通義千問打造的端側(cè)大模型應(yīng)用。

離線狀態(tài)下，利用天璣芯片的本地算力，基于通義千問模型的智能體也能像真人一樣和用戶對話，同時還支持根據(jù)用戶需求喚起應(yīng)用，比如通過對話啟動地圖導(dǎo)航。

當(dāng)然除了語音，生成圖片等視覺類內(nèi)容，同樣是生成式AI的重要能力，這樣的能力在先鋒應(yīng)用中同樣有所體現(xiàn)。

比如我們再熟悉不過的抖音，在搭載天璣芯片的設(shè)備上，就可以通過抖音運(yùn)行先進(jìn)的文生圖模型SDXL-Lightning，僅需兩秒就能繪制一張1024*1024的AI圖片。

同時，天璣芯片中的APU單元還為抖音提供了AI實時特效功能，在直播中利用端側(cè)算力就能流暢地實現(xiàn)人臉特效的添加。

盡管在熱度上略低于文本和視覺信息，但聲音也是不可否認(rèn)的重要模態(tài)，作為一個完備的應(yīng)用體系，相關(guān)產(chǎn)品同樣不能落下。

總想當(dāng)歌唱家一展歌喉，現(xiàn)實卻是別人唱歌要錢你要命，沒關(guān)系，全民K歌就把SVC模型放到了端側(cè)，只需錄制30秒的樣本，模型就會用你的聲音一鍵演唱任何歌曲，讓你分分鐘變身歌王。

此外還有小紅書的頭像生成工具InstantID、虎牙的實時直播換臉、RMKV的音樂創(chuàng)作……一系列效果震撼的AI應(yīng)用，都被從云端搬到了端側(cè)，搬進(jìn)了聯(lián)發(fā)科天璣的AI應(yīng)用生態(tài)。

以上這些案例，用戶在與之交互的過程中，能直接感受到AI的存在，但其實在一些“看不見的地方”，同樣也有AI在為用戶默默付出。

當(dāng)然，手機(jī)也并非是端側(cè)設(shè)備的全部，還有智能穿戴、智能家居、智能座艙等多種終端。

聯(lián)發(fā)科此次推出的天璣AI開發(fā)套件，就實現(xiàn)了全場景的終端覆蓋，將生成式AI帶到了各式各樣的端側(cè)設(shè)備當(dāng)中。

比如在汽車上，只需要一張草圖，再加上簡單的提示詞指令，就能利用車載終端的AI能力實現(xiàn)繪畫創(chuàng)作，讓AI的運(yùn)行載體不再局限于電腦和手機(jī)。

在芯片廠商、設(shè)備廠商和應(yīng)用開發(fā)者組成的端側(cè)AI生態(tài)當(dāng)中，聯(lián)發(fā)科作為芯片廠商，架起了設(shè)備和應(yīng)用之間的一座橋梁，扮演著端側(cè)AI應(yīng)用落地的最大推動者。

聯(lián)發(fā)科，端側(cè)AI領(lǐng)先布局人

推動整個端側(cè)AI生態(tài)的發(fā)展，是一項宏大的議題，那么為什么聯(lián)發(fā)科能夠擔(dān)此重任？

聯(lián)發(fā)科技無線通信事業(yè)部副總經(jīng)理李彥輯講述了背后的故事。

李彥輯介紹，在近十年前，也就是2015、2016年前后, 聯(lián)發(fā)科就已經(jīng)開始了AI芯片的研發(fā)。

當(dāng)時AI在互聯(lián)網(wǎng)上成為了一個熱門話題，鋪天的熱度讓聯(lián)發(fā)科開始思考，能不能讓端側(cè)設(shè)備搭上AI的洪流。

該芯片的真正誕生則是在2018年，不過主要用途和拍照相關(guān)，而不是提供生成式AI的能力。

不過從開始思考到首款A(yù)I芯片落地這段時間當(dāng)中，AI領(lǐng)域內(nèi)有一篇重量級論文出現(xiàn)了——

這篇論文就是谷歌發(fā)布的Attention is all you need，也就是它宣告了Transformer的誕生。

后來的事情想必大家已經(jīng)很清楚了，Transformer取代了RNN，成為了NLP新的主流技術(shù)路線，直到OpenAI發(fā)布ChatGPT，宣告了進(jìn)入生成式AI的時代。

回到聯(lián)發(fā)科這一邊，在Transformer出現(xiàn)后，團(tuán)隊立刻注意到，生成式模型可能帶來重大變革，應(yīng)該著手開始探索新的算子了。

盡管當(dāng)時還沒有看到明確的應(yīng)用，但聯(lián)發(fā)科還是基于對生成式AI未來的篤信，開始了早期布局。

我們不禁要問，敢在生成式AI剛剛起步的時候就投入研究，聯(lián)發(fā)科的底氣是什么？

一方面，是對未來技術(shù)的判斷和決心，堅信Transformer會成為AI的分水嶺；

另一方面，則是多年的技術(shù)積淀，給聯(lián)發(fā)科探索生成式AI算子帶來的便利條件。

聯(lián)發(fā)科技無線通信事業(yè)部技術(shù)規(guī)劃總監(jiān)李俊男這樣介紹：

Transformer一定不是突然出現(xiàn)的，背后一定有技術(shù)積累，聯(lián)發(fā)科也是如此。

在之前以影像為主要應(yīng)用的AI研發(fā)中，涉及到了ViT網(wǎng)絡(luò)，其中就有很多算子，都是可以積累到生成式AI當(dāng)中的。

對于技術(shù)積累，李俊男表示，持續(xù)投資技術(shù)，是科技公司必須做的事情。

當(dāng)然，布局生成式AI的過程，一定不是一帆風(fēng)順的，比如解釋為什么要在端側(cè)部署AI，就成了一個棘手的問題。

不過，憑借著深厚的技術(shù)積淀和對行業(yè)的敏銳觀察，最終聯(lián)發(fā)科給出了充分的總結(jié)，也獲得了認(rèn)可。

關(guān)于天璣AI的下一步計劃，李彥輯介紹，是實現(xiàn)端側(cè)化運(yùn)行的多模態(tài)模型，以及端側(cè)的專家系統(tǒng)。

不難看到，聯(lián)發(fā)科正憑借其領(lǐng)先的技術(shù)實力和生態(tài)布局優(yōu)勢，將引領(lǐng)端側(cè)芯片繼續(xù)向AI方向深入發(fā)展，并不斷推動端側(cè)AI生態(tài)建設(shè)的優(yōu)化與升級。