安卓率先跑通多模態(tài)大模型，終端本地就能看圖生成文本！高通：WiFi都會AI起來

明敏 2024-02-26 18:24:14 來源：量子位

明敏 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

多模態(tài)大模型，首次本地部署在安卓手機上了！

現(xiàn)在，對著手機AI助手，輸入照片、語音，都能自如對話，所有功能完全在終端側(cè)運行。

MWC 2024首日，高通就放大招，通通聚焦終端側(cè)AI。

手機上能跑多模態(tài)大模型之外，全球首個在Windows PC上運行的音頻推理多模態(tài)大模型演示，也來了。

它能理解音頻并進(jìn)行推理、可實現(xiàn)語音輸入的多輪對話。

最后，高通還發(fā)布了面向開發(fā)者的AI Hub，讓開發(fā)者可以更加方便在手機、PC上開發(fā)大模型應(yīng)用，目前已支持超過75個大模型。

以及連WiFi系統(tǒng)都要被AI增強了，高通最新一代WiFi 7解決方案FastConnect 7900，同樣面向混合AI時代而來，是全球首個使用了AI增強的WiFi系統(tǒng)。

高通這一套組合拳，只為證明一件事：終端側(cè)AI趨勢，現(xiàn)在已經(jīng)到來。

終端側(cè)AI已經(jīng)到來

高通這一次秀肌肉，核心展示了生成式AI在手機、PC端側(cè)運行的新突破。

而且在官方資料中，多次強調(diào)了“所有功能完全在終端側(cè)運行”——但尚未明確是否都是在不聯(lián)網(wǎng)條件下實現(xiàn)的。

不過總而言之，終端側(cè)能跑更多AI大模型，對于終端變革、用戶價值變革，絕對都是大消息。

具體細(xì)節(jié)，來看官方放出的演示。

安卓機方面，高通將生成式AI的本地運行拉升到了多模態(tài)級別。

首個在Android智能手機上運行的大語言和視覺助理大模型（LLaVA），可接受包括文本和圖像在內(nèi)的多種類型的數(shù)據(jù)輸入，并可基于輸入內(nèi)容進(jìn)行多輪對話。

現(xiàn)在，用戶可以拍一張照片向AI助手提問：

這些食材都是什么？它能做什么菜？每道菜的熱量是多少？

AI助手就能基于照片信息給出回答。所有功能都完全在終端運行，可以進(jìn)行多輪對話、保障響應(yīng)速度。

另外，高通還發(fā)布了可在安卓手機上運行LoRA的實例。

LoRA能在不改變底層模型的前提下，調(diào)節(jié)或定制模型的生成內(nèi)容，通過使用大小僅為模型2%的適配器，即可個性化定制生成式AI模型。

比如Stable Diffusion就可以通過LoRA進(jìn)行定制化調(diào)整。大語言模型也可以通過LoRA定制為個人助理、改進(jìn)翻譯能力等。

PC方面同樣強調(diào)多模態(tài)能力的本地部署。

現(xiàn)在，在Windows PC上可以運行音頻推理多模態(tài)大模型，能夠?qū)崿F(xiàn)由語音完成多輪對話。

搭載驍龍X Elite的Windows PC將可以理解鳥叫、音樂或者各種聲音。比如它能聽歌進(jìn)行相似推薦。

與此同時，高通還“翻譯”了一下什么叫真正意義上的AI PC。

驍龍X Elite的NPU運算能力高達(dá)45TOPS，兩臺設(shè)備同時運行集成Stable Diffusion插件的GIMP（一款廣受歡迎的圖像編輯器）進(jìn)行AI圖像生成。驍龍X Elite只需7.25秒就能生成一張圖像，速度是X86競品（22.26秒）的3倍。

開發(fā)者方面，高通推出全新AI Hub。

它支持超過75個模型，傳統(tǒng)AI模型和生成式AI模型都有，比如ControlNet、Stable Diffusion、Baichuan-7B等，可在驍龍和高通平臺上部署。

開發(fā)者選擇好所需模型、所用框架，確定目標(biāo)平臺（比如特定型號手機或芯片）。高通AI Hub就可以為開發(fā)者提供面向指定應(yīng)用、指定平臺進(jìn)行優(yōu)化的模型。只需幾行代碼即可獲取模型，并將模型集成進(jìn)應(yīng)用程序。

高通表示對AI Hub支持的每個模型都進(jìn)行了優(yōu)化，基于高通的AI引擎可以達(dá)到4倍推理加速，同時占用內(nèi)存帶寬和存儲空間也將減少。

這些優(yōu)化模型可在高通AI Hub、Hugging Face和GitHub上獲取。

首個AI增強的WiFi 7系統(tǒng)

為什么要用AI增強WiFi？

因為高通認(rèn)為，AI的未來是混合AI，也就是需要跨云端、終端和邊緣云。

因此也給連接提出更高要求。

在MWC 2024上，高通帶來全新一代WiFi 7解決方案：高通FastConnect 7900系統(tǒng)。

這也是全球首個AI增強的WiFi系統(tǒng)，集成了近距離感知功能。

此外，這也是高通首次在6nm芯片上集成了藍(lán)牙、WiFi和超帶寬，達(dá)到“以一頂三”的效果。

相較于上一代，7900采用了全新的射頻前端模組和架構(gòu)，在降低40%系統(tǒng)功耗的同時提高能效；該系統(tǒng)還助力減少25%占板面積，從而留出更大的電池空間以提升續(xù)航能力。

而在今年MWC上，高通不僅發(fā)布一系列終端AI技術(shù)，一系列搭載驍龍8 Gen 3的旗艦機也紛紛亮相，比如榮耀Magic6 Pro、OPPO X7 Ultra、小米14 Pro等。

它們帶來了AI擴(kuò)圖（小米）、AI創(chuàng)建日程（榮耀）、AI圖像消除（OPPO）等功能。

AI手機元年與否或許還有爭議，但終端側(cè)的AI落地，正在在高通的底層驅(qū)動下，走向Everywhere、Everyone……

參考鏈接：
https://www.qualcomm.com/news/media-center/press-kits/mwc-barcelona-2024