面向終端側(cè)生成式AI規(guī)?；瘮U展，高通重新定義SoC系統(tǒng)性能

白交 2024-06-27 22:21:41 來源：量子位

允中 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

6月27日，高通公司AI產(chǎn)品技術(shù)中國區(qū)負責人萬衛(wèi)星出席2024世界移動通信大會（MWC上海），并在“人工智能領(lǐng)域的投資、創(chuàng)新與生態(tài)系統(tǒng)發(fā)展”主題會議發(fā)表了主題為“終端側(cè)生成式AI的未來” 的演講。

他指出，生成式AI的能力和用例正不斷豐富和擴展，高通通過其創(chuàng)新的SoC系統(tǒng)設計，憑借面向生成式AI全新設計的NPU和異構(gòu)計算系統(tǒng)，為終端側(cè)AI規(guī)?；瘮U展提供了有力支持。他還詳細介紹了NPU的演進路線，以及如何利用第三代驍龍8移動平臺率先實現(xiàn)多模態(tài)大模型的端側(cè)運行。此外，高通的AI軟件棧支持跨終端、跨OS、跨平臺的靈活部署，并通過構(gòu)建AI生態(tài)系統(tǒng)，支持國內(nèi)外廣泛的終端側(cè)生成式AI模型，持續(xù)推動AI技術(shù)的發(fā)展和創(chuàng)新。

以下為演講全文：

尊敬的各位嘉賓，大家好！我是高通公司萬衛(wèi)星，很高興來到MWC上海，并借今天的活動，與各位嘉賓共同討論生成式AI在終端側(cè)的發(fā)展。同時，我也會和大家分享高通公司的產(chǎn)品和解決方案是如何助力推動生成式AI在終端側(cè)的規(guī)模化擴展的。

我們注意到，隨著相關(guān)應用的普及，生成式AI的能力正在持續(xù)增強，主要體現(xiàn)在兩個方面。第一，它的能力和KPI日益提升。比如大語言模型可以支持更長的上下文，大視覺模型可以處理更高分辨率的圖片和視頻，可以通過LoRa等先進技術(shù)，針對不同消費者、企業(yè)或行業(yè)，定制微調(diào)模型。第二，模式和用例更加豐富。現(xiàn)在有越來越多的用例支持語音UI，越來越多的大型多模態(tài)模型，可以更好地理解世界，有越來越豐富、逼真的視頻和3D內(nèi)容生成等。

之前大家聊生成式AI更多是云端，但現(xiàn)在無論手機等OEM廠商，還是芯片廠商，都能夠看到生成式AI正在從云端遷移到邊緣云和終端側(cè)，未來端云協(xié)同的混合AI將推動生成式AI的規(guī)?；瘮U展，在云和邊緣及終端側(cè)之間分配工作負載，提供更強大、更高效和高度優(yōu)化的體驗。

具體來講，在中央云會有一個大規(guī)模通用模型，提供絕對性能算力；在終端側(cè)會有一個參數(shù)量相對較小、但能勝任具體任務的模型，提供具備即時性、可靠性、個性化，以及更能保障隱私和安全性的服務。針對新的AI用例和工作負載，我們重新定義和設計了SoC，定義了一個專為AI而打造的SoC的系統(tǒng)，推出了高通AI引擎這個異構(gòu)計算系統(tǒng)。

高通AI引擎中包含CPU、GPU、NPU，以及超低功耗的高通傳感器中樞。

下面我來解釋一下，我們SoC的異構(gòu)計算系統(tǒng)如何滿足這些豐富的生成式AI用例的多樣化要求，包括對算力等各種KPI的要求。我們知道，很難有單獨一個處理器能滿足這樣多樣化的要求。

我們將生成式AI用例分為按需型、持續(xù)型和泛在型，比如對時序要求比較高、對時延很敏感的按需型用例，我們會用CPU來進行加速；對于對管道處理、圖像處理、并行計算要求比較高的用例，我們通過性能強大的Adreno GPU來進行加速；對于一些對算力要求較高、對功耗要求較高的用例，包括圖像處理、視頻處理、大模型等，我們會通過NPU進行加速。

接下來，我會深入介紹一下高算力、低功耗NPU的演進路線，這是一個通過上層用例驅(qū)動底層硬件設計的非常典型的案例。

在2015年之前，AI用例主要集中在音頻和語音處理方面，模型尺寸相對較小，所以我們給NPU配置了一個標量和一個矢量硬件加速單元。2016年到2022年，AI用例從語音處理轉(zhuǎn)向了圖像處理、視頻處理，背后的模型變得越來越豐富，有RNN、CNN、LSTM、Transformer等等，對張量計算的要求非常高，所以我們給NPU又配置了一個張量加速器。到了2023年，隨著生成式AI大熱，對于大語言模型來講，目前70%以上的大語言模型都是基于Transformer，所以我們專門針對Transformer進行了特定的優(yōu)化和設計，同時我們在軟硬件層面也提供了諸多先進技術(shù)，包括微切片推理。去年我們發(fā)布的第三代驍龍8移動平臺，可以支持完整運行100億參數(shù)以上的模型。

在今年2月份的MWC巴塞羅那上，我們也展示了高通在端測支持的多模態(tài)模型。另外，我們也會針對大語言模型的底座Transformer進行持續(xù)投入，從而更好地支持基于Transformer的大模型。從參數(shù)量級的角度來說，2024年以后我們將有望看到100億參數(shù)以上的大模型在端側(cè)運行，并帶來較好的用戶體驗。

通過這張膠片，我將和大家具體講解高通去年發(fā)布的第三代驍龍8移動平臺在AI方面，特別是NPU與前代產(chǎn)品相比有哪些提升。第一，利用微架構(gòu)升級提供極致性能；第二，手機作為一個集成度非常高的產(chǎn)品，其功耗一直都是需要重點解決的問題，因此我們給NPU設置了加速器專用電源，以提供更加出色的能效；同時，我們還升級了微切片技術(shù)，在算子深度融合層面充分釋放硬件算力和片上內(nèi)存。除此之外，其他的提升和改進還包括更大的帶寬、更高的主頻等，從而打造出擁有卓越AI性能和能效的SoC。接下來，我將給各位展示一個基于語音控制的虛擬化身AI助手，在這個典型案例中，異構(gòu)計算的優(yōu)勢能夠得到充分釋放。

首先，ASR模塊負責將用戶的語音信號轉(zhuǎn)成文本信息，這個模型是運行在高通傳感器中樞上；輸出的文本信息會輸入到大語言模型中，這個大語言模型則運行在Hexagon NPU上；大語言模型輸出的文本信息，再通過開源TTS模塊處理成語音信息進行輸出；因為它是一個虛擬化身形象，最后還需要渲染虛擬形象與用戶互動，而渲染、互動的工作負載則是由Adreno GPU來完成。這就是虛擬化身AI助手在SoC上運行完成端到端處理的流程，異構(gòu)計算的能力在這一過程中得到充分釋放。

當然，高通除了提供領(lǐng)先的AI硬件之外，還能夠提供一個靈活的跨終端、跨OS、跨平臺的高通AI軟件棧。從上往下看，我們支持包括TensorFlow和PyTorch在內(nèi)的目前主流的AI訓練框架。再往下看，我們也可以直接運行一些開源的AI runtime，同時，我們還提供一個高通自己的SDK——高通神經(jīng)網(wǎng)絡處理SDK，這也是我們可以提供給合作伙伴的一個runtime。

在更下層的接口，我們也會為開發(fā)者和合作伙伴提供豐富的加速庫、編譯器以及各種調(diào)試工具，讓他們可以在高通驍龍平臺上，更加高效、靈活地進行模型的優(yōu)化和部署。

大家知道，高通有著非常豐富的產(chǎn)品線，我們不僅提供手機SoC，同時也涉足汽車、PC、物聯(lián)網(wǎng)、XR等等領(lǐng)域，高通AI軟件棧已經(jīng)賦能我們所有產(chǎn)品線的絕大多數(shù)AI平臺，也就意味著，我們的合作伙伴和開發(fā)者朋友們，只要在高通的一個平臺上完成模型的部署，就可以非常方便地遷移到高通的其他產(chǎn)品線。

這里我提供了一些目前比較典型的用例和對應的參數(shù)量，可以看到，像文生圖、對話和NLP、圖像理解這些用例的模型參數(shù)量大概在10億至100億之間，正如前面我們介紹到的，高通已經(jīng)實現(xiàn)了運行超過100億參數(shù)的模型，并且，預計未來幾年這一數(shù)字將大幅增長。

除了提供領(lǐng)先的硬件和靈活的軟件之外，我們也在構(gòu)建我們的AI生態(tài)系統(tǒng)，支持國內(nèi)外的、廣泛的終端側(cè)生成式AI模型在驍龍平臺上運行，其中既包括LVM、LLM，也包括多模態(tài)LLM，這里我就不一一列舉了。如果大家感興趣，可以訪問我們的官網(wǎng)查看更多信息。以上就是我今天的全部分享，謝謝大家！