芯片巨頭正在偷偷研發(fā)這些新AI技術(shù)，不比拍照有意思

明敏 2022-07-01 15:20:06 來源：量子位

明敏 蕭簫 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

不知道你們有沒有這樣一種感覺，芯片性能要遇上瓶頸了。

光就芯片制程來看，從7nm卷到5nm再卷到3nm，已經(jīng)越來越逼近摩爾極限。

于是，不少廠商開始試著用AI給芯片性能提供靈感，從神經(jīng)擬態(tài)到用AI設(shè)計芯片，各種技術(shù)路線都有人在嘗試。

這種情況下，哪些新AI技術(shù)最可能被應(yīng)用到下一代芯片當(dāng)中？

對此，我們采訪了一下高通工程技術(shù)副總裁侯紀(jì)磊。

侯紀(jì)磊博士畢業(yè)于加州大學(xué)圣迭戈分校，在高通已經(jīng)工作了19年，目前是高通公司AI研究項目負(fù)責(zé)人，負(fù)責(zé)高通AI研究（Qualcomm AI Research）的技術(shù)創(chuàng)新規(guī)劃。

在采訪中，侯博士分享了高通AI研究在基礎(chǔ)、平臺和應(yīng)用三個研究方向的一些首創(chuàng)技術(shù)成果。

其中，基礎(chǔ)研究主要針對前沿性、基礎(chǔ)性的AI技術(shù)進行研究，例如神經(jīng)壓縮和AI+量子計算相關(guān)領(lǐng)域的探索；

平臺研究則主要是從平臺能力和創(chuàng)新的角度，推動AI技術(shù)的發(fā)展并提升能效、進行端側(cè)學(xué)習(xí)，例如量化技術(shù)和聯(lián)邦學(xué)習(xí)；

應(yīng)用研究包括移動端視頻AI技術(shù)和3D+AI技術(shù)等，涵蓋智能手機、XR、自動駕駛等各個行業(yè)應(yīng)用領(lǐng)域的技術(shù)研究。

同時，侯博士還分享了不少“AI落地狂魔”高通，將AI技術(shù)快速應(yīng)用到芯片上的秘訣。一起來看看。

芯片廠商悄悄研發(fā)這些新AI

雖然高通最廣為人知的AI技術(shù)是量化，不過要看最新的技術(shù)，還得從高通AI研究的頂會論文中去找。

從論文來看，高通相對著重的AI基礎(chǔ)技術(shù)可能是以下四個方向：神經(jīng)增強、弱監(jiān)督學(xué)習(xí)、神經(jīng)推理和量子AI。

先來看看神經(jīng)增強（neural augmentation）技術(shù)，目前高通已經(jīng)將之用到了無線通信中。

平時處理無線通信信號主要有兩種方法，一種是用傳統(tǒng)濾波器搞一套公式出來，另一種是用AI直接訓(xùn)練并預(yù)測結(jié)果，前者精度不高，后者訓(xùn)練數(shù)據(jù)量太大。

高通選擇將二者結(jié)合起來，在保留傳統(tǒng)濾波器的基礎(chǔ)之上，讓AI自己學(xué)習(xí)調(diào)參。

沒錯，就是教會AI自己當(dāng)調(diào)參俠，熟練應(yīng)用并掌握那些看起來晦澀難懂的公式，類似于應(yīng)用卡爾曼濾波器的場景中，讓AI自己學(xué)會調(diào)整其中的QR參數(shù)。

再或者以麥克斯韋方程為例，高通選擇保留y=x*H模型的線性，同時采用AI學(xué)習(xí)H的分布：

要是類似的技術(shù)能用于手機無線通信基帶上，信號說不定還能再進一步增強。

而神經(jīng)增強還只是高通神經(jīng)推理研究的一部分。如果AI真的同時具備了邏輯思維和抽象能力，那距離芯片性能突破也不遠了。

再說到弱監(jiān)督學(xué)習(xí)，這個方向一直是解決長尾問題、以及AI技術(shù)落地新場景的一大趨勢之一。

就像是“讓AI自己學(xué)習(xí)”一樣，這項技術(shù)旨在避免數(shù)據(jù)標(biāo)記錯誤導(dǎo)致的AI精度下降、以及降低標(biāo)記成本等，來利用少量標(biāo)記數(shù)據(jù)，實現(xiàn)與監(jiān)督學(xué)習(xí)接近甚至超過監(jiān)督學(xué)習(xí)的精度效果。

侯博士介紹了在去年MWC，高通做的一個演示，用弱標(biāo)記的方法，訓(xùn)練出相對精確度高的定位的模型。

而且最令人驚訝的是，這種定位的模型它不是通過視覺的方式，而是通過射頻信號來進行定位的學(xué)習(xí)，使用了弱監(jiān)督和自監(jiān)督的學(xué)習(xí)方法。

室內(nèi)定位場景所需的信號數(shù)據(jù)標(biāo)記比較復(fù)雜，通過射頻感知的方法，使用弱監(jiān)督學(xué)習(xí)能比較有效地節(jié)省成本、提升效率。

嗯，現(xiàn)在老板只需要通過無線信號，就知道你在哪個辦公室和同事摸魚聊天了（手動狗頭）。

再來看看神經(jīng)推理（Neural Reasoning）技術(shù)。

事實上，這里的推理并不是指單純的模式識別，而更像是教AI學(xué)會“邏輯推斷”，概念上和Yoshua Bengio之前提到的system2（邏輯分析系統(tǒng)）有些相似。

那么，神經(jīng)推理和芯片有什么關(guān)系，可以應(yīng)用在哪些方向，高通又進展到哪一步了？

據(jù)侯博士介紹，神經(jīng)推理是一種將符號推理和神經(jīng)網(wǎng)絡(luò)優(yōu)勢結(jié)合起來的思路，讓模型兼具并行性和串行性，而這個思路對于計算硬件而言同樣具有借鑒性，目前高通已經(jīng)利用自回歸語言模型做出了一些首創(chuàng)成果。

最后來看看量子AI技術(shù)。

目前高通主要有進行兩個方面的研究，一個是基于AI加速構(gòu)建量子計算機，另一個是讓AI更快在量子計算機上運行的新方法。

其中，基于AI加速構(gòu)建量子計算，主要研究方向在群等變卷積神經(jīng)網(wǎng)絡(luò)上。

研究人員通過引進群等變卷積神經(jīng)網(wǎng)絡(luò)，提出了一種新的解碼方式，比傳統(tǒng)解碼器運行效率更高、性能也更好。

而高通登上ICML 2021的一項新研究，還提出了一種基于量子場論，在光學(xué)量子計算中運行神經(jīng)網(wǎng)絡(luò)的新思路。

如果未來真的能用量子計算運行AI，那大模型快速運算也不是夢了。

所以問題來了，高通正在進行的這些基礎(chǔ)研究，究竟有沒有落地的可能？

距離我們用上還有多久？

技術(shù)之終極意義，還是要看向應(yīng)用。

實際上，高通AI研究關(guān)注前沿科技背后，更加重視的是這些技術(shù)具體如何落地。

例如在早些年AI領(lǐng)域還在關(guān)注圖像處理的時候，高通就已經(jīng)在布局視頻AI技術(shù)的落地了，并產(chǎn)生了不少相應(yīng)的首創(chuàng)成果。

包括在移動端將視頻超分到4K 100+FPS，就是高通率先實現(xiàn)的。

那么在這個過程中，高通是如何實現(xiàn)將AI論文落地到芯片應(yīng)用中的呢？

這就得說回高通AI研究的三大布局：

• 基礎(chǔ)研究，涉及量子AI、強化學(xué)習(xí)、群等變卷積神經(jīng)網(wǎng)絡(luò)等，著眼于遙遠的未來，通常更具有基礎(chǔ)性。
• 平臺研究，包括軟硬件協(xié)同設(shè)計、AI模型效率工具包以及模型量化、壓縮和神經(jīng)架構(gòu)搜索等，來實現(xiàn)最佳的能效、性能和時延。
• 應(yīng)用研究，是指利用AI基礎(chǔ)研究和平臺研究的成果在某些特定用例中，包含視頻識別與預(yù)測、指紋圖譜、圖形深度學(xué)習(xí)、視覺質(zhì)量提升等。

一方面，高通一直以平臺研究技術(shù)帶動應(yīng)用研究的落地。

以模型量化為例。

這是高通AI研究這幾年鉆研的核心技術(shù)之一，目的就是給AI模型做個“瘦身”。

在實際應(yīng)用場景中，由于電量、算力、內(nèi)存和散熱能力受限，手機使用的AI模型和PC上的AI模型有很大不同。

在PC上，GPU動輒上百瓦功率，AI模型的計算可以使用16或32位浮點數(shù)（FP16、FP32）。而手機SoC只有幾瓦功率，也難存儲大體積AI模型。

這時候就需要將FP32模型縮小成8位整數(shù)（INT8）乃至4位整數(shù)（INT4），同時確保模型精度不能有太大損失。

以AI摳圖模型為例，我們以電腦處理器的算力，通常能實現(xiàn)十分精準(zhǔn)的AI摳圖，但相比之下，如果要用手機實現(xiàn)“差不多效果”的AI摳圖，就得用到模型量化的方法。

值得一提的是，基于模型量化快速部署，高通在2020年開源的AI模型增效工具包（AIMET）。

這其中包含了同年以及上年被ICML、ICCV收錄的技術(shù)方法。

量化的結(jié)果之一就是，更多應(yīng)用方向的AI模型被“壓縮”并優(yōu)化，然后加速部署到芯片中。

比如視頻語義分割上，首次在移動端上以FHD分辨率實現(xiàn)實時街景；神經(jīng)視頻壓縮方面，首次在移動端實現(xiàn)了實時高清解碼……

從這些行業(yè)首次落地的成果中可以直觀感受到，高通AI研究在結(jié)合前沿學(xué)術(shù)、應(yīng)用需求上的考量。

侯紀(jì)磊博士在采訪中表示，高通的AI技術(shù)從最初發(fā)現(xiàn)到形成開源或商業(yè)化生態(tài)，只需要2-3年時間。

另一方面，從應(yīng)用和平臺需求上反過來push基礎(chǔ)研究技術(shù)的進展，催生出更多交叉領(lǐng)域。

比如聯(lián)邦學(xué)習(xí)、圖像預(yù)內(nèi)核優(yōu)化，就是基礎(chǔ)與平臺研究相交叉產(chǎn)生的領(lǐng)域；音視頻壓縮、面向無線領(lǐng)域和射頻感知的AI等，則是基礎(chǔ)和應(yīng)用研究相結(jié)合的體現(xiàn)。

也就是說，高通在基礎(chǔ)、平臺、應(yīng)用三方面上的研究，完整地將AI技術(shù)落地所需的算法模型、數(shù)據(jù)、軟硬件、應(yīng)用場景幾大要素囊括其中，以支持邊緣AI，走的是全棧AI研究的路線，并首次在移動終端上演示了概念驗證。

以此，高通希望能通過研究“可以應(yīng)用并落地的AI”，快速推動技術(shù)落地的進程。

侯博士表示，其實高通本身在平臺和應(yīng)用上投入比重就會更大，此外在基礎(chǔ)研發(fā)過程中，產(chǎn)品團隊還會深度參與，方便技術(shù)人員更加了解應(yīng)用需求。從AI研究到落地往往非常復(fù)雜，需要考慮更多現(xiàn)實世界中的問題（如長尾場景等）。

高通AI研究的目的不僅在于技術(shù)創(chuàng)新，也是實際場景應(yīng)用中的創(chuàng)新。

目前，高通光是實現(xiàn)落地的AI首創(chuàng)研究成果，就有這么多：

由此可見，高通AI研究在首創(chuàng)技術(shù)之外，更致力于將這些成果成功運行到終端上。

例如前段時間發(fā)布的驍龍X70，就是經(jīng)過這樣的歷程問世的。作為全球首款引入AI處理器的5G調(diào)制解調(diào)器及射頻系統(tǒng)系統(tǒng)，驍龍X70預(yù)計后續(xù)會集成到驍龍年度的8系旗艦平臺上。

猜猜，下一代5G手機的信號、圖像、音視頻處理等技術(shù)會不會更強？

你最期待哪些頂會AI技術(shù)應(yīng)用到手機上呢？

參考鏈接：
[1]https://www.youtube.com/watch?v=Tavl2nWHKU8&t=938s
[2]https://www.qualcomm.com/research/artificial-intelligence/ai-research