自動化所研發(fā)脈沖動態(tài)計算的毫瓦級超低功耗異步感算一體類腦芯片

夢晨 2024-06-03 12:40:03 來源：量子位

允中 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

人腦能夠運(yùn)行非常復(fù)雜且龐大的神經(jīng)網(wǎng)絡(luò)，總功耗卻僅為20瓦，遠(yuǎn)小于現(xiàn)有的人工智能系統(tǒng)。因此，在算力比拼加速，能耗日益攀升的今日，借鑒人腦的低功耗特性發(fā)展新型智能計算系統(tǒng)成為極具潛力的方向。

近日，中國科學(xué)院自動化研究所李國齊、徐波課題組與時識科技公司等單位合作設(shè)計了一套能夠?qū)崿F(xiàn)動態(tài)計算的算法-軟件-硬件協(xié)同設(shè)計的類腦神經(jīng)形態(tài)SOC（System on Chip，系統(tǒng)級芯片）Speck，展示了類腦神經(jīng)形態(tài)計算在融合高抽象層次大腦機(jī)制時的天然優(yōu)勢，相關(guān)研究在線發(fā)表于《自然·通訊》（Nature Communications）。

該研究提出了“神經(jīng)形態(tài)動態(tài)計算”的概念，通過設(shè)計了一種類腦神經(jīng)形態(tài)芯片Speck來實(shí)現(xiàn)基于注意力機(jī)制的動態(tài)計算，在硬件層面做到“沒有輸入，沒有功耗”，在算法層面做到“有輸入時，根據(jù)輸入重要性程度動態(tài)調(diào)整計算”，從而在典型視覺場景任務(wù)功耗可低至0.7毫瓦，進(jìn)一步挖掘了神經(jīng)形態(tài)計算在性能和能效上的潛力。

Speck是一款異步感算一體類腦神經(jīng)形態(tài)SoC，采用全異步設(shè)計，在一塊芯片上集成了動態(tài)視覺傳感器（DVS相機(jī)）和類腦神經(jīng)形態(tài)芯片，具有極低的靜息功耗（僅為0.42毫瓦）。Speck能夠以微秒級的時間分辨率感知視覺信息，以全異步方式設(shè)計拋棄了全局時鐘控制信號，避免時鐘空翻帶來的能耗開銷，僅在有事件輸入時才觸發(fā)稀疏加法運(yùn)算。

針對脈沖神經(jīng)網(wǎng)絡(luò)（SNN）在更高層面，比如時間維度中不能根據(jù)輸入難易度調(diào)整其脈沖發(fā)放等“動態(tài)失衡”問題，該研究基于注意力機(jī)制的神經(jīng)形態(tài)脈沖動態(tài)計算框架(圖2)，在多種粒度上實(shí)現(xiàn)對不同的輸入進(jìn)行有區(qū)分地動態(tài)響應(yīng)；同時Speck軟件工具鏈Sinabs編程框架支持動態(tài)計算SNN算法訓(xùn)練和部署。實(shí)驗(yàn)結(jié)果表明，注意力機(jī)制可使得SNN具備動態(tài)計算能力，即根據(jù)輸入難易度調(diào)整其脈沖發(fā)放模式解決“動態(tài)失衡”問題，在顯著降低功耗的同時，提升任務(wù)性能。在DVS128 Gesture數(shù)據(jù)集上，融合脈沖動態(tài)計算的Speck在任務(wù)精度提升9%的同時，平均功耗由9.5毫瓦降低至3.8毫瓦（圖3）。

該工作的實(shí)踐證實(shí)高、低抽象層次大腦機(jī)制的融合能進(jìn)一步激發(fā)類腦計算潛力，為未來將大腦進(jìn)化過程中產(chǎn)生的各種高級神經(jīng)機(jī)制融合至神經(jīng)形態(tài)計算提供積極啟發(fā)。

相關(guān)工作得到了國家杰出青年科學(xué)基金、北京市杰出青年基金、國家自然科學(xué)基金委重點(diǎn)項(xiàng)目、區(qū)域創(chuàng)新聯(lián)合重點(diǎn)項(xiàng)目等項(xiàng)目的支持。

圖1.類腦神經(jīng)形態(tài)SOC系統(tǒng)Speck設(shè)計框架

圖2.人腦中的注意力機(jī)制

圖3.融合了注意力脈沖動態(tài)計算的Speck

論文地址：
https://www.nature.com/articles/s41467-024-47811-6