終端側(cè)AI才是生成式AI規(guī)?；奈磥?| 高通顏辰巍@MEET2024

豐色 2023-12-22 12:37:29 來源：量子位

編輯部 整理自 MEET2024

量子位 | 公眾號(hào) QbitAI

縱觀剛剛過去的MEET 2024智能未來大會(huì)，終端側(cè)AI儼然成為其中一大熱詞。

為什么大家都在談?wù)撨@一趨勢(shì)？

在大會(huì)現(xiàn)場(chǎng)，高通技術(shù)公司產(chǎn)品管理高級(jí)副總裁顏辰巍歸納了三點(diǎn)原因：

一是隨著模型參數(shù)越來越大、相關(guān)應(yīng)用以及用戶越來越多，云計(jì)算推理成本和綜合成本將急劇增加，將難以支持生成式AI規(guī)模化發(fā)展。

二是數(shù)據(jù)在哪里，AI推理就應(yīng)該在哪里進(jìn)行，這不僅最經(jīng)濟(jì)也更為保護(hù)用戶隱私。

三是有些應(yīng)用場(chǎng)景沒有5G數(shù)據(jù)連接，這時(shí)候就必須有本地計(jì)算能力。

基于此，顏辰巍認(rèn)為：

只有當(dāng)終端就能運(yùn)行基于AI大模型的用例時(shí)，端側(cè)與云側(cè)能很好地結(jié)合，生成式AI才能大規(guī)模普及，發(fā)揮出所有的潛力。

為了完整體現(xiàn)顏辰巍對(duì)終端側(cè)AI的見解和思考，量子位在不改變?cè)獾幕A(chǔ)上，對(duì)他的演講內(nèi)容進(jìn)行了編輯整理。

關(guān)于MEET 智能未來大會(huì)：MEET大會(huì)是由量子位主辦的智能科技領(lǐng)域頂級(jí)商業(yè)峰會(huì)，致力于探討前沿科技技術(shù)的落地與行業(yè)應(yīng)用。今年共有數(shù)十家主流媒體及直播平臺(tái)報(bào)道直播了MEET2024大會(huì)，吸引了超過300萬行業(yè)用戶線上參會(huì)，全網(wǎng)總曝光量累計(jì)超過2000萬。

演講要點(diǎn)

• 當(dāng)數(shù)十億用戶都日常使用生成式AI時(shí)，云經(jīng)濟(jì)顯然難以支持生成式AI規(guī)?；瘮U(kuò)展。
• 只有當(dāng)終端就能運(yùn)行基于AI大模型的用例時(shí)，端側(cè)與云側(cè)能很好地結(jié)合，生成式AI才能大規(guī)模普及，發(fā)揮出所有的潛力。
• 隨著基礎(chǔ)模型的創(chuàng)新，很多用例可以完全在終端上運(yùn)行。而這將實(shí)實(shí)在在的改變?nèi)藗兓?dòng)的方式。
• 終端側(cè)AI模型的發(fā)展不能只依賴文本或單一的輸入或輸出形式，多模態(tài)生成式AI一定是未來的發(fā)展方向。

（以下為顏辰巍演講全文）

終端側(cè)AI為什么是AI的未來？

大家早上好，今天非常高興能夠來到現(xiàn)場(chǎng)，為大家介紹高通公司在AI，特別是終端側(cè)AI領(lǐng)域的愿景。

高通公司認(rèn)為，生成式AI正在開啟人與終端交互的全新方式：

通過輸入提示就可以生成文本、圖像、代碼、音樂和語音，為我們帶來變革產(chǎn)業(yè)、生產(chǎn)力、生活?yuàn)蕵贩绞降娜聭?yīng)用場(chǎng)景和功能。

接下來，我想談一談，為什么除了網(wǎng)絡(luò)側(cè)云端的生成式AI之外，讓生成式AI在終端側(cè)運(yùn)行才能發(fā)揮生成式AI的所有巨大潛力。

當(dāng)前生成式AI領(lǐng)域正出現(xiàn)多個(gè)關(guān)鍵趨勢(shì)：第一，模型參數(shù)大大增加；第二，圍繞著基礎(chǔ)模型每天都在涌現(xiàn)新的應(yīng)用；第三使用用戶數(shù)大大增加。

這樣就造成云計(jì)算推理不只是每次運(yùn)行成本增加，綜合成本也會(huì)急劇增加。

當(dāng)數(shù)十億用戶都日常使用生成式AI時(shí)，云經(jīng)濟(jì)顯然難以支持生成式AI規(guī)?；瘮U(kuò)展。

這就是我們必須在終端側(cè)支持生成式AI的第一個(gè)原因。

第二，大部分的數(shù)據(jù)產(chǎn)生在端側(cè)，比如用戶的聊天記錄、辦公記錄、視頻和照片等等，所以在終端側(cè)處理AI是最經(jīng)濟(jì)的，也能夠更好的保護(hù)用戶隱私。

第三，有些應(yīng)用場(chǎng)景可能沒有5G數(shù)據(jù)連接，比如在野外，車座艙里的司機(jī)與車交互的應(yīng)用。這時(shí)候就必須有本地計(jì)算能力。

所以只有當(dāng)終端就能運(yùn)行基于AI大模型的用例時(shí)，端側(cè)與云側(cè)能很好地結(jié)合，生成式AI才能大規(guī)模普及，發(fā)揮出所有的潛力。

另外還有一個(gè)趨勢(shì)更重要。

大語言模型的性能正在變得愈發(fā)強(qiáng)大，同時(shí)我們觀察到能夠?qū)崿F(xiàn)更高準(zhǔn)確度、更好KPI，同時(shí)適合終端側(cè)運(yùn)行的參數(shù)規(guī)模在150億以下的模型，覆蓋了自然語言處理、編程、數(shù)學(xué)推理、圖像或視頻理解等豐富用例。

很多超大的云端模型也都推出了經(jīng)過優(yōu)化的終端側(cè)版本。

隨著基礎(chǔ)模型的創(chuàng)新，很多用例可以完全在終端上運(yùn)行。而這將實(shí)實(shí)在在的改變?nèi)藗兓?dòng)的方式。

PC和手機(jī)都已有落地方案

接下來，我們看一下高通的硬件和軟件解決方案。

驍龍品牌大家都非常熟悉，驍龍已成為全球近30億部終端的核心。

除了智能手機(jī)領(lǐng)域，驍龍也在不斷往更多領(lǐng)域擴(kuò)展，包括筆記本電腦、汽車、XR設(shè)備、平板等等。

隨著行業(yè)進(jìn)入生成式AI的全新時(shí)代，我們正在開啟全新的突破，讓驍龍成為面向終端側(cè)生成式AI的首選平臺(tái)。

驍龍的一貫優(yōu)勢(shì)在于我們非常注重低功耗計(jì)算和連接能力的完美結(jié)合，結(jié)合我們出色的異構(gòu)計(jì)算能力，對(duì)AI模型的支持和優(yōu)化，使得我們能和廠家和生態(tài)一起快速推動(dòng)終端側(cè)AI的規(guī)模化發(fā)展。

在今年10月底，我們發(fā)布了兩款專為生成式AI而打造的全新平臺(tái)。

一個(gè)是面向PC的驍龍X Elite平臺(tái)，另一個(gè)是第三代驍龍8移動(dòng)平臺(tái)，目前也已經(jīng)有多款搭載第三代驍龍8的旗艦終端面市。

面向PC的驍龍X Elite

驍龍X Elite平臺(tái)是驍龍?jiān)赑C領(lǐng)域的巨大突破，它是我們面向未來AI PC的最強(qiáng)大、最先進(jìn)、最智能的平臺(tái)。

它的性能和能效，完全不同于業(yè)內(nèi)迄今為止的任何產(chǎn)品。它采用全新的、高通自主設(shè)計(jì)的基于ARM指令集的Oryon CPU架構(gòu)。

它也是首個(gè)能夠通過雙核增強(qiáng)使得內(nèi)核性能提升，實(shí)現(xiàn)主頻達(dá)到4GHz以上的ARM架構(gòu)CPU核心。

除了CPU，驍龍X Elite還具備最佳集成圖形性能和高通AI引擎。

高通AI引擎采用異構(gòu)計(jì)算架構(gòu)，包括三部分。一個(gè)是剛才提到的CPU，另一個(gè)是進(jìn)行圖形處理的GPU，以及第三部分是為了解決在端側(cè)運(yùn)行AI大模型的低功耗大算力需求，專門為AI計(jì)算量身定制的NPU。

驍龍X Elite的Hexagon NPU能夠支持45TOPS的出色AI性能，通過NPU、CPU和GPU能夠整體實(shí)現(xiàn)75TOPS的AI算力，與其他PC平臺(tái)相比AI性能十分領(lǐng)先，所以我們非常有信心驍龍X Elite能夠支持AI PC應(yīng)用出色落地。

面向手機(jī)的第三代驍龍8

在智能手機(jī)方面，第三代驍龍8的終端側(cè)AI也是業(yè)界領(lǐng)先水平，尤其是Hexagon NPU與前代相比性能提升了98%，能效也提升了40%。我們正在與多家廠商共同合作，基于第三代驍龍8面向用戶打造生成式AI應(yīng)用。

在硬件方面，除了NPU運(yùn)算能力之外，AI因?yàn)榫薮蟮臄?shù)據(jù)量，對(duì)內(nèi)存速度和帶寬也有很高的要求。

現(xiàn)在，我們?cè)诘谌旪?上還支持業(yè)內(nèi)最新的LPDDR5-x內(nèi)存，頻率達(dá)到4.8GHz，通過更快的數(shù)據(jù)速度和更大帶寬支持用戶運(yùn)行更大、更復(fù)雜的AI模型。

基于我們強(qiáng)大的硬件生成式AI技術(shù)，第三代驍龍8能夠支持100億參數(shù)的模型，運(yùn)行速度能夠達(dá)到20個(gè)token/秒。

舉一個(gè)具體應(yīng)用的例子，在2023年巴塞羅那世界移動(dòng)通信大會(huì)上，我們第一次展示了Stable Diffusion在驍龍移動(dòng)平臺(tái)上運(yùn)行的技術(shù)演示，當(dāng)時(shí)能夠在15秒內(nèi)生成圖片。

現(xiàn)在通過第三代驍龍8移動(dòng)平臺(tái)對(duì)算力和模型的不斷優(yōu)化，我們運(yùn)行Fast Stable Diffusion生成圖片僅需不到1秒。

高通AI軟件棧以及開發(fā)工具

除了行業(yè)領(lǐng)先的硬件，支持在既定功耗下實(shí)現(xiàn)更高性能，我們?cè)贏I業(yè)務(wù)領(lǐng)域的關(guān)鍵要素還包括高通AI軟件棧以及開發(fā)工具。

高通AI軟件棧作為領(lǐng)先的邊緣側(cè)軟件棧，其核心是高通神經(jīng)網(wǎng)絡(luò)處理SDK和高通AI引擎Direct，連接芯片與所有主流AI框架。

它面向我們的合作伙伴、用戶和開發(fā)人員提供了一個(gè)集成所有AI框架、開發(fā)者庫、全方位工具鏈、操作系統(tǒng)的整合平臺(tái)，讓他們得以在搭載驍龍平臺(tái)的終端上打造應(yīng)用，并實(shí)現(xiàn)“一次開發(fā)、多次部署”。

我們感到非常自豪的是已經(jīng)有很多廣受歡迎的生成式AI模型，其中也包括很多來自中國合作伙伴的模型，已經(jīng)能夠在驍龍平臺(tái)上運(yùn)行，我們期待這些模型讓開發(fā)者能夠創(chuàng)造出更多令人驚艷的體驗(yàn)。

終端側(cè)AI模型的發(fā)展不能只依賴文本或單一的輸入或輸出形式，我們認(rèn)為多模態(tài)生成式AI一定是未來的發(fā)展方向。

視覺、文本和語音的結(jié)合是實(shí)現(xiàn)完全直觀體驗(yàn)的關(guān)鍵。我們的終端應(yīng)該能夠像人一樣處理多種輸入類型，我們很期待和合作伙伴盡快為這些模型提供支持。

最后總結(jié)一下今天給大家介紹的內(nèi)容：

一個(gè)是第三代驍龍8能夠支持在終端側(cè)運(yùn)行高達(dá)100億參數(shù)的生成式AI模型，并以20 token/秒的速度運(yùn)行大語言模型，僅需不到一秒就能使用Fast Stable Diffusion在智能手機(jī)上生成圖像，為用戶帶來響應(yīng)更快、更高效、更安全的AI應(yīng)用。

另一個(gè)是驍龍X Elite平臺(tái)，它的AI算力還要更高，是高通公司迄今為止面向PC打造的最強(qiáng)計(jì)算處理器。

憑借一流的CPU性能、領(lǐng)先的終端側(cè)AI推理和支持多天續(xù)航的高能效，顯著提升PC體驗(yàn)。

驍龍X Elite專為AI打造，支持在終端側(cè)運(yùn)行超過130億參數(shù)的生成式AI模型，憑借快達(dá)競(jìng)品4.5倍的AI處理速度，將繼續(xù)擴(kuò)大我們?cè)贏I領(lǐng)域的領(lǐng)先優(yōu)勢(shì)。

高通在AI硬件和軟件工具上所做的工作和積累，能夠最大程度上支持我們的OEM合作伙伴和應(yīng)用開發(fā)者利用高通平臺(tái)，盡快打造讓消費(fèi)者真正眼前一亮的體驗(yàn)和應(yīng)用。

我們對(duì)在終端上運(yùn)行更多生成式AI倍感興奮，它將與云計(jì)算結(jié)合，完成更多的重負(fù)載工作，使生成式AI的變革成為現(xiàn)實(shí)。

我們很期待未來能有機(jī)會(huì)與各位合作。謝謝。