大模型加速涌向移動端！ControlNet手機出圖只需12秒，高通AI掌門人：LLaMA也只是時間問題

蕭簫 2023-07-13 19:47:17 來源：量子位

魚羊 蕭簫 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

大模型重塑一切的浪潮，正在加速涌向移動應用。

不久前，高通剛在MWC上露了一手純靠手機跑Stable Diffusion，15秒就能出圖的騷操作：

3個月后的CVPR 2023上，參數加量到15億，ControlNet也已在手機端閃亮登場，出圖全程僅用了不到12秒：

更令人意想不到的速度是，高通技術公司產品管理高級副總裁兼AI負責人Ziad Asghar透露：

從技術角度來說，把這些10億+參數大模型搬進手機，只需要不到一個月的時間。

并且這還只是個開始。

在與量子位的交流中，Ziad認為：

大模型正在迅速重塑人機交互的方式。這會讓移動應用的使用場景和使用方式發(fā)生翻天覆地的變化。

“大模型改變終端交互方式”

每一個看過《鋼鐵俠》的人，都很難不羨慕鋼鐵俠無所不能的助手賈維斯。

盡管語音助手早已不是什么新鮮事物，但其現如今的形態(tài)多少還是離科幻電影中的智能助手有點差距。

而大模型，在Ziad看來，正是一個破局者。

大模型有能力真正重塑我們與應用交互的方式。

這種改變的一種具體的表現，就是all in one。

也就是說，通過大模型加持下的數字助手這一個應用入口，人們就可以在手機這樣的終端上操控一切：

通過自然語言指令，數字助手能自動幫你管理所有手機上的APP，完成辦理銀行業(yè)務、撰寫電子郵件、制定旅程并訂票等等各種操作。

更為關鍵的是，這樣的數字助手還能做到“私人訂制”——

手機上的個性化數據，與能夠理解文字、語音、圖像、視頻等多模態(tài)輸入的大語言模型相結合，就能使數字助手更為精準地把握使用者的偏好。

并且這樣的個性化體驗，可以在不犧牲隱私的情況下實現。

從技術的角度來說，背后關鍵，其實就是如今把Stable Diffusion和ControlNet搬進手機的混合AI架構及作為支撐的量化、編譯和硬件加速優(yōu)化等AI技術。

混合AI，指的是終端和云端協同工作，在適當場景和時間下分配AI計算的工作負載，以更為高效地利用算力資源。

量化、編譯和硬件加速優(yōu)化，則是實現混合AI的關鍵AI技術，受到高通等終端AI廠商的長期關注和押注。

量化，是將更大的模型在精度不變的情況下，從浮點數轉變成整數，節(jié)省計算時間；又或是在確保模型性能的同時，對其大小進行壓縮，使之更容易部署在終端。

編譯器是AI模型能夠以最高性能和最低功耗高效運行的關鍵。AI編譯器將輸入的神經網絡轉化為可以在目標硬件上運行的代碼，同時針對時延、性能和功耗進行優(yōu)化。

硬件加速方面，以高通為例，其AI引擎中的關鍵核心Hexagon處理器，采用專用供電系統，支持微切片推理、INT4精度、Transformer網絡加速等，能夠在提供更高性能的同時，降低能耗和內存占用。

數據顯示，Transformer加速大幅提升了生成式AI中充分使用的多頭注意力機制的推理速度，在使用MobileBERT的特定用例中能帶來4.35倍的AI性能提升。

以Stable Diffusion為例，現在，高通的研究人員通過量化、編譯和硬件加速優(yōu)化，已經能夠在搭載第二代驍龍8移動平臺的手機上，以15秒20步推理的速度運行這一模型，生成出512×512像素的圖片。

△圖源油管@TK Bay

這樣一來，整個推理過程可以完全只靠手機實現——開著飛行模式不聯網也能做到。

這類AI技術的部署并非易事，Ziad表示在相關軟件、工具和硬件方面，高通準備了2-3年的時間。

但現在，當高通AI模型增效工具包、高通AI軟件棧和高通AI引擎等軟硬件工具齊備之后，正如前文所言，高通只花了不到一個月的時間，就實現了Stable Diffusion在驍龍平臺上的高速運行。

也就是說，當基礎技術準備就緒，包括大模型在內的生成式AI部署，就會更加容易，原本無法想象的“大模型部署到終端變成數字助手”，現在看來也并非不可能。

具體而言，在硬件上混合AI和軟件AI技術的“雙重”架構下，部署在手機等終端中的大模型，可以在終端側根據用戶習慣不斷優(yōu)化和更新用戶畫像，從而增強和打造定制化的生成式AI提示。這些提示會以終端側為中心進行處理，只在必要時向云端分流任務。

Ziad也進一步向我們解釋說：

云不了解你，但終端設備了解你。如果模型可以在設備上進行微調，那它的功能將非常強大。

這也是突破大模型幻覺和記憶瓶頸的方式之一。高通可以做到通過一系列技術讓大模型在不聯網的情況下，借助終端設備數據長時間提供“專屬”服務，同時也保護了用戶隱私。

值得關注的是，Ziad還透露，在Stable Diffusion和ControlNet之外，基于高通全棧式的軟件和硬件能力，研究人員正在將更多生成式AI模型遷移到手機之中，參數量也正在向百億級別進發(fā)。

很快，你就會在終端上看到像LLaMA 7B/13B這樣的模型。一切工具已經就緒，剩下的只是時間問題。

而且，雖然目前能在終端側部署的只是“特定”的大模型，但隨著技術的不斷應用成熟，能部署的大模型數量、模態(tài)類型和部署形式，都會飛速進化。Ziad表示：

隨著更多更好的AI算法被開源出來，我們也能更快地沿用這套軟硬件技術將它們部署到終端側，這其中就包括文生視頻等各種多模態(tài)AI。

這樣來看，未來用戶將自己想用的大模型遷移到手機端，成為超級助手的核心，也并非不可能實現。

大模型正在重塑移動互聯網

實際上，手機上的交互變革，還只是冰山一角。

早在生成式AI、大模型技術爆發(fā)之前，在移動互聯網時代，AI需求已經呈現出向邊緣設備轉移的趨勢。

正如Ziad的觀點“終端側AI是AI的未來”一樣，隨著以大模型為代表的生成式AI浪潮加速改變人機交互方式，更多終端側如筆記本電腦、AR/VR、汽車和物聯網終端等，也都會因為這場變革迎來重塑，甚至反過來加速AI規(guī)?；涞?。

在這個過程中，不僅硬件會誕生新的衡量標準，軟件上以大模型為核心的超級AI應用，更是有可能出現。

首先是硬件上，由于終端側算力會成為延展生成式AI落地應用不可或缺的一部分，對于移動端芯片本身來說，AI處理能力也會日益凸顯，甚至成為新的設計基準之一。

隨著大模型變得更受歡迎、更多應用不斷接入其能力，更多潛在的用戶也會意識到大模型具備的優(yōu)勢，從而導致這類技術使用次數的迅猛上升。

但云端算力終究有限。Ziad認為：

隨著AI計算需求的增加，云端算力必然無法承載如此龐大的計算量，從而導致單次查詢成本急劇增加。

要解決這一問題，就應當讓更多算力需求“外溢”到終端，依靠終端算力來緩解這一問題。

為了讓更多大模型在終端就能處理甚至運行，從而降低調用成本，必然需要在確保用戶體驗的同時，提升移動端芯片處理AI的能力。

長此以往，AI處理能力會成為衡量硬件能力的benchmark，如同過去手機芯片比拼通用算力和ISP影像能力一樣，成為整個移動端芯片的新“賽點”。

誰能在設計移動端芯片時將之考慮進去，誰就更有可能取得這場大模型較量的話語權。

不止是硬件。軟件上，通過改變人機交互的方式，大模型將重塑包括娛樂、內容創(chuàng)作、生產力在內的所有移動應用。

在這種情況下，越來越多的大模型、或者說生成式AI會參與其中，重塑不同移動端AI應用，而這些應用隨著不同移動端算力和應用場景的差異，又會有所不同：

在智能手機端，正如前文所述，這種重塑會率先出現在搜索和“智能助手”上。例如，只需要一句“安排5人會議”，大模型就能將以往需要用電子郵件反復確認的消息簡化成一條指令，自動發(fā)送到其他人的日歷上。

而在筆記本電腦和PC上，最大的影響可能是工具生產效率的提升，如使用Office的方式不再需要是依靠打字輸入內容，而是聊聊天就能完成自己想要寫的報告、處理的PPT。

至于在汽車端，率先受到影響的可能會是數字助理和自動駕駛軟件，像使用導航軟件時不再需要點擊目的地，而是直接告訴它“我想去XX，中途安排一個吃飯的地點，別太貴”，大模型就能讀懂人話，自動規(guī)劃汽車路線。

又或是XR更吸引人的應用重塑，在于3D內容創(chuàng)作和沉浸式體驗；物聯網的改變，則可能發(fā)生在運營效率和客戶支持應用上……

當然，這并不意味著AI小模型的“消失”。大模型出現之前，圖像應用已經成為移動端AI落地最顯著的領域，包括AI修圖、暗景視頻拍攝去噪算法等在內已有不少成熟的AI應用。

Ziad認為，生成式AI的出現并不會替代已有AI應用，甚至在其刺激下，CPU、GPU、AI處理器的升級進化，會進一步提升去噪等傳統AI算法的能力。

同時，移動端應用之間并非“孤島”。無論智能手機、電腦、汽車、物聯網還是XR，一旦大模型促使某個真正的“殺手級”應用出現，勢必也會在各個移動端之間部署。

因此在這波大模型浪潮下，如何讓開發(fā)的應用快速適配到不同移動端，實現“一次開發(fā)多端互聯”，也是不可或缺的技術趨勢。

總而言之，從硬件的芯片設計、軟件的應用程序，到應用的整體開發(fā)方式，大模型都在給移動端、甚至是整個移動互聯網帶來改變。

那么，高通在這場大模型變革浪潮中會扮演什么樣的角色？

Ziad認為，高通將會領導技術前沿，成為引領這場變革的核心：

在終端側，無論是從硬件還是軟件而言，高通都處在領先地位。不僅僅是手機，在電腦、AR、VR、汽車、物聯網等領域都是如此。

而這份信心的來源，是高通長期的AI技術積累，“一切工具都已經就緒”。

無論是硬件上的Hexagon AI處理器、讓生成式AI在云端和終端之間“無縫”應用的混合AI，還是軟件上所具備的量化、壓縮、神經網絡架構搜索（NAS）和編譯等技術，高通都已經具備了將大模型隨時應用到終端側的技術儲備。

一旦成功將大模型部署到某個終端側，如智能手機，就能通過高通AI軟件棧將之迅速部署到其他所有端側設備上，進一步加速大模型的規(guī)?；涞?。

像10億參數Stable Diffusion模型，在部署到手機上之后，也已經實現在搭載驍龍計算平臺的筆記本上運行。

面對這波大模型浪潮下生成式AI帶來的機遇和挑戰(zhàn)，不少科技公司都在尋找應對之策，以探求如何跟進其中的技術。

至少在終端側，高通已經以技術玩家的身份，為行業(yè)率先打了個樣。

One More Thing

在這波生成式AI熱潮下，大模型是否可能帶來新的如微信一樣的“殺手級”應用？高通如何看待這個觀點？

Ziad回答稱，可能會，而且這類“殺手級”應用，更可能率先在中國出現：

如果按發(fā)展趨勢來看的話，中國確實可能會更快出現這類應用。