生成式AI終端和應(yīng)用 “雙向奔赴”，聯(lián)發(fā)科扮演關(guān)鍵角色

克雷西 2024-05-15 10:32:24 來(lái)源：量子位

克雷西 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

從PC到手機(jī)，甚至是智能穿戴……這些端側(cè)設(shè)備正與AI進(jìn)行著一場(chǎng)“雙向奔赴”。

一方面，端側(cè)設(shè)備的性能提升，給AI提供了新的土壤；

另一方面，AI正在改變端側(cè)設(shè)備的使用方式和體驗(yàn)。

除了設(shè)備對(duì)AI的原生支持之外，第三方的AI應(yīng)用，特別是生成式AI應(yīng)用，也開(kāi)始在端側(cè)生根發(fā)芽。

在這背后，無(wú)論是應(yīng)用還是設(shè)備本身，都不可避免地涉及一個(gè)問(wèn)題——算力。

而芯片又是算力的重要載體，因此在端側(cè)AI生態(tài)中，芯片廠商扮演了不可或缺的角色，在競(jìng)爭(zhēng)之中的表現(xiàn)也尤為積極。

近期，聯(lián)發(fā)科舉辦了首屆天璣開(kāi)發(fā)者大會(huì)2024(MDDC 2024)，從產(chǎn)品、技術(shù)、市場(chǎng)、生態(tài)等多維度激發(fā)并引領(lǐng)了移動(dòng)生態(tài)的積極性與活力。會(huì)上，聯(lián)發(fā)科推出了全新的旗艦5G生成式AI移動(dòng)芯片9300+；聯(lián)合Counterpoint并攜手多個(gè)生態(tài)伙伴共同發(fā)布《生成式AI手機(jī)產(chǎn)業(yè)白皮書(shū)》；分享了生成式AI端側(cè)部署解決方案“天璣AI開(kāi)發(fā)套件”；并啟動(dòng)“天璣AI先鋒計(jì)劃”，促進(jìn)產(chǎn)業(yè)共創(chuàng)實(shí)現(xiàn)生態(tài)共贏。

算力，一切AI的基石

要研究AI的端側(cè)化，首先要解答的一個(gè)問(wèn)題是，有了表現(xiàn)遙遙領(lǐng)先的云端模型，還需要在端側(cè)也部署AI？

首先，安全是其中最大的考量——無(wú)論是企業(yè)還是個(gè)人，顯然都不希望自己的機(jī)密或隱私在云上到處流傳。

而端側(cè)模型則解決了這一擔(dān)憂，所有數(shù)據(jù)都在本地處理，無(wú)需擔(dān)心泄露問(wèn)題。

其次，考慮性能因素，雖然云端模型表現(xiàn)更強(qiáng)，服務(wù)的用戶數(shù)量也更多，但如果超出并發(fā)能力，就會(huì)出現(xiàn)延時(shí)排隊(duì)的現(xiàn)象。

不僅是云端自身的吞吐量，網(wǎng)絡(luò)的穩(wěn)定性也會(huì)造成影響。

而本地模型只為單一用戶服務(wù)，且無(wú)需聯(lián)網(wǎng)，這一優(yōu)勢(shì)特性與云端AI有著明顯的產(chǎn)品差異。

此外，端側(cè)設(shè)備龐大的用戶體量與黏著度，以及相對(duì)完整的應(yīng)用生態(tài)，也說(shuō)明了端側(cè)部署AI的可行性，而手機(jī)則成為了部署端側(cè)生成式AI的最佳載體。

解決了AI對(duì)端側(cè)設(shè)備的需求問(wèn)題，那么站在端側(cè)設(shè)備的角度，又為什么需要AI功能呢？

在AI時(shí)代，用戶對(duì)更智能、更個(gè)性化的服務(wù)當(dāng)然會(huì)有更高的期待，現(xiàn)有的操作方式，會(huì)隨著期待的升高顯得越來(lái)越“不夠智能”。

以手機(jī)為例，從按鍵到觸屏可以說(shuō)是操作方式的重大革新。

而在當(dāng)前以APP為主的移動(dòng)應(yīng)用生態(tài)下，即使用觸控代替了按鍵，也需要先選擇好并點(diǎn)擊具體的應(yīng)用，才能實(shí)現(xiàn)自己的意圖。

如果有了端側(cè)AI，具備多模態(tài)信息的輸入與輸出能力，能夠直接根據(jù)用戶意圖調(diào)用功能，將是手機(jī)操控方式的又一次飛躍。

這樣的功能，無(wú)疑有利于廠商提升旗艦機(jī)型實(shí)力，實(shí)現(xiàn)差異化競(jìng)爭(zhēng)。

相互依存，各取所需，結(jié)果自然是AI和端側(cè)設(shè)備的雙向奔赴。

當(dāng)然只談需求也是不夠的，之所以AI能夠端側(cè)化，算力是不可或缺的。

實(shí)際上，哪怕是云端，算力的地位同樣舉足輕重。

此次天璣開(kāi)發(fā)者大會(huì)上全新發(fā)布的天璣9300+旗艦5G生成式AI移動(dòng)芯片，就包含了先進(jìn)的APU 790，提供了強(qiáng)勁的端側(cè)AI算力。

當(dāng)然，要討論算力，不能只看硬件所能提供的FLOPS（每秒浮點(diǎn)運(yùn)算次數(shù)），還要看設(shè)備上運(yùn)行的應(yīng)用能不能將其充分調(diào)度、充分利用。

為此，聯(lián)發(fā)科不僅推出了全新的天璣生成式AI移動(dòng)芯片，還提供了天璣AI開(kāi)發(fā)套件，包括快速高效的 GenAI 最佳實(shí)踐、覆蓋全球主流大模型的 GenAI Model Hub、高效提升性能的 GenAI 優(yōu)化技術(shù)和 Neuron Studio 一站式視覺(jué)化開(kāi)發(fā)環(huán)境等四大模塊。

該套件將為廣大開(kāi)發(fā)者提供“快、全、強(qiáng)、易”的專業(yè)開(kāi)發(fā)體驗(yàn)，賦能終端生成式AI應(yīng)用開(kāi)發(fā)全流程。

應(yīng)用，AI與用戶的接口

除了算力，生態(tài)協(xié)作在端側(cè)AI領(lǐng)域也是繞不開(kāi)的話題，其中應(yīng)用開(kāi)發(fā)者是不可缺少的一環(huán)。

無(wú)論芯片還是設(shè)備，無(wú)論紙面上或?qū)嶒?yàn)室中的性能有多強(qiáng)，最終被用戶感知的，依舊是運(yùn)行應(yīng)用時(shí)的能力。

所以，應(yīng)用作為整個(gè)端側(cè)生態(tài)中最接近用戶的一環(huán)，其實(shí)際效果往往比參數(shù)量或其他技術(shù)指標(biāo)，對(duì)普通消費(fèi)者的選擇影響更為直觀。

意識(shí)到這一點(diǎn)之后，在同行還在參數(shù)量上卷的不可開(kāi)交的時(shí)候，聯(lián)發(fā)科已經(jīng)在布局全場(chǎng)景AI應(yīng)用了。

在天璣開(kāi)發(fā)者大會(huì)上，聯(lián)發(fā)科技攜手阿里云、百川智能、傳音、零一萬(wàn)物、OPPO、榮耀、vivo、小米多家生態(tài)伙伴共同啟動(dòng)“天璣AI先鋒計(jì)劃”，為全球開(kāi)發(fā)者提供資源、技術(shù)支持和商業(yè)機(jī)會(huì)，幫助開(kāi)發(fā)者在搭載天璣芯片的終端設(shè)備上打造創(chuàng)新的生成式AI體驗(yàn)，以加速推動(dòng)AI應(yīng)用落地。

目前，聯(lián)發(fā)科已經(jīng)攜手阿里云通義千問(wèn)、Cocos、Honor of Kings、虎牙直播、酷狗音樂(lè)、美圖、全民K歌、RWKV、Soul、騰訊AI Lab、小紅書(shū)等數(shù)十家生態(tài)伙伴完成生成式AI應(yīng)用落地體驗(yàn)，讓用戶在使用過(guò)程中直接感知到AI的存在。

以手機(jī)為例，在生成式AI應(yīng)用中，被討論最多的就是大模型，在天璣AI應(yīng)用生態(tài)中，就有阿里云通義千問(wèn)打造的端側(cè)大模型應(yīng)用。

離線狀態(tài)下，利用天璣芯片的本地算力，基于通義千問(wèn)模型的智能體也能像真人一樣和用戶對(duì)話，同時(shí)還支持根據(jù)用戶需求喚起應(yīng)用，比如通過(guò)對(duì)話啟動(dòng)地圖導(dǎo)航。

當(dāng)然除了語(yǔ)音，生成圖片等視覺(jué)類內(nèi)容，同樣是生成式AI的重要能力，這樣的能力在先鋒應(yīng)用中同樣有所體現(xiàn)。

比如我們?cè)偈煜げ贿^(guò)的抖音，在搭載天璣芯片的設(shè)備上，就可以通過(guò)抖音運(yùn)行先進(jìn)的文生圖模型SDXL-Lightning，僅需兩秒就能繪制一張1024*1024的AI圖片。

同時(shí)，天璣芯片中的APU單元還為抖音提供了AI實(shí)時(shí)特效功能，在直播中利用端側(cè)算力就能流暢地實(shí)現(xiàn)人臉特效的添加。

盡管在熱度上略低于文本和視覺(jué)信息，但聲音也是不可否認(rèn)的重要模態(tài)，作為一個(gè)完備的應(yīng)用體系，相關(guān)產(chǎn)品同樣不能落下。

總想當(dāng)歌唱家一展歌喉，現(xiàn)實(shí)卻是別人唱歌要錢你要命，沒(méi)關(guān)系，全民K歌就把SVC模型放到了端側(cè)，只需錄制30秒的樣本，模型就會(huì)用你的聲音一鍵演唱任何歌曲，讓你分分鐘變身歌王。

此外還有小紅書(shū)的頭像生成工具InstantID、虎牙的實(shí)時(shí)直播換臉、RMKV的音樂(lè)創(chuàng)作……一系列效果震撼的AI應(yīng)用，都被從云端搬到了端側(cè)，搬進(jìn)了聯(lián)發(fā)科天璣的AI應(yīng)用生態(tài)。

以上這些案例，用戶在與之交互的過(guò)程中，能直接感受到AI的存在，但其實(shí)在一些“看不見(jiàn)的地方”，同樣也有AI在為用戶默默付出。

當(dāng)然，手機(jī)也并非是端側(cè)設(shè)備的全部，還有智能穿戴、智能家居、智能座艙等多種終端。

聯(lián)發(fā)科此次推出的天璣AI開(kāi)發(fā)套件，就實(shí)現(xiàn)了全場(chǎng)景的終端覆蓋，將生成式AI帶到了各式各樣的端側(cè)設(shè)備當(dāng)中。

比如在汽車上，只需要一張草圖，再加上簡(jiǎn)單的提示詞指令，就能利用車載終端的AI能力實(shí)現(xiàn)繪畫(huà)創(chuàng)作，讓AI的運(yùn)行載體不再局限于電腦和手機(jī)。

在芯片廠商、設(shè)備廠商和應(yīng)用開(kāi)發(fā)者組成的端側(cè)AI生態(tài)當(dāng)中，聯(lián)發(fā)科作為芯片廠商，架起了設(shè)備和應(yīng)用之間的一座橋梁，扮演著端側(cè)AI應(yīng)用落地的最大推動(dòng)者。

聯(lián)發(fā)科，端側(cè)AI領(lǐng)先布局人

推動(dòng)整個(gè)端側(cè)AI生態(tài)的發(fā)展，是一項(xiàng)宏大的議題，那么為什么聯(lián)發(fā)科能夠擔(dān)此重任？

聯(lián)發(fā)科技無(wú)線通信事業(yè)部副總經(jīng)理李彥輯講述了背后的故事。

李彥輯介紹，在近十年前，也就是2015、2016年前后, 聯(lián)發(fā)科就已經(jīng)開(kāi)始了AI芯片的研發(fā)。

當(dāng)時(shí)AI在互聯(lián)網(wǎng)上成為了一個(gè)熱門(mén)話題，鋪天的熱度讓聯(lián)發(fā)科開(kāi)始思考，能不能讓端側(cè)設(shè)備搭上AI的洪流。

該芯片的真正誕生則是在2018年，不過(guò)主要用途和拍照相關(guān)，而不是提供生成式AI的能力。

不過(guò)從開(kāi)始思考到首款A(yù)I芯片落地這段時(shí)間當(dāng)中，AI領(lǐng)域內(nèi)有一篇重量級(jí)論文出現(xiàn)了——

這篇論文就是谷歌發(fā)布的Attention is all you need，也就是它宣告了Transformer的誕生。

后來(lái)的事情想必大家已經(jīng)很清楚了，Transformer取代了RNN，成為了NLP新的主流技術(shù)路線，直到OpenAI發(fā)布ChatGPT，宣告了進(jìn)入生成式AI的時(shí)代。

回到聯(lián)發(fā)科這一邊，在Transformer出現(xiàn)后，團(tuán)隊(duì)立刻注意到，生成式模型可能帶來(lái)重大變革，應(yīng)該著手開(kāi)始探索新的算子了。

盡管當(dāng)時(shí)還沒(méi)有看到明確的應(yīng)用，但聯(lián)發(fā)科還是基于對(duì)生成式AI未來(lái)的篤信，開(kāi)始了早期布局。

我們不禁要問(wèn)，敢在生成式AI剛剛起步的時(shí)候就投入研究，聯(lián)發(fā)科的底氣是什么？

一方面，是對(duì)未來(lái)技術(shù)的判斷和決心，堅(jiān)信Transformer會(huì)成為AI的分水嶺；

另一方面，則是多年的技術(shù)積淀，給聯(lián)發(fā)科探索生成式AI算子帶來(lái)的便利條件。

聯(lián)發(fā)科技無(wú)線通信事業(yè)部技術(shù)規(guī)劃總監(jiān)李俊男這樣介紹：

Transformer一定不是突然出現(xiàn)的，背后一定有技術(shù)積累，聯(lián)發(fā)科也是如此。

在之前以影像為主要應(yīng)用的AI研發(fā)中，涉及到了ViT網(wǎng)絡(luò)，其中就有很多算子，都是可以積累到生成式AI當(dāng)中的。

對(duì)于技術(shù)積累，李俊男表示，持續(xù)投資技術(shù)，是科技公司必須做的事情。

當(dāng)然，布局生成式AI的過(guò)程，一定不是一帆風(fēng)順的，比如解釋為什么要在端側(cè)部署AI，就成了一個(gè)棘手的問(wèn)題。

不過(guò)，憑借著深厚的技術(shù)積淀和對(duì)行業(yè)的敏銳觀察，最終聯(lián)發(fā)科給出了充分的總結(jié)，也獲得了認(rèn)可。

關(guān)于天璣AI的下一步計(jì)劃，李彥輯介紹，是實(shí)現(xiàn)端側(cè)化運(yùn)行的多模態(tài)模型，以及端側(cè)的專家系統(tǒng)。

不難看到，聯(lián)發(fā)科正憑借其領(lǐng)先的技術(shù)實(shí)力和生態(tài)布局優(yōu)勢(shì)，將引領(lǐng)端側(cè)芯片繼續(xù)向AI方向深入發(fā)展，并不斷推動(dòng)端側(cè)AI生態(tài)建設(shè)的優(yōu)化與升級(jí)。