清華芯片新突破登Science，獲評(píng)“存算一體領(lǐng)域重大進(jìn)展”！基于類腦架構(gòu)實(shí)現(xiàn)片上快速AI學(xué)習(xí)

明敏 2023-10-11 13:57:17 來源：量子位

明敏 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

清華最新芯片成果，登上Science！

全球首顆全系統(tǒng)集成、支持高效片上學(xué)習(xí)的憶阻器存算一體芯片，正式問世。

它集合了記憶、計(jì)算和學(xué)習(xí)能力。

能在片上快速完成不同任務(wù)的模型訓(xùn)練。

而能耗僅為先進(jìn)工藝下ASIC的1/35，能效有望提升75倍，同時(shí)兼顧保護(hù)隱私。

這就是由清華大學(xué)集成電路學(xué)院吳華強(qiáng)教授、高濱副教授團(tuán)隊(duì)帶來的最新成果。

相關(guān)話題已經(jīng)登頂知乎熱榜。

Science編輯評(píng)價(jià)其為：

存算一體領(lǐng)域的重要進(jìn)展。

芯片內(nèi)搞定AI訓(xùn)練

正如人類大腦能夠基于預(yù)先接受過的知識(shí)，快速學(xué)習(xí)新場(chǎng)景中的新知識(shí)。

邊緣設(shè)備也需要具備類似的學(xué)習(xí)能力，才能更好適應(yīng)用戶習(xí)慣和新場(chǎng)景。

但是目前神經(jīng)網(wǎng)絡(luò)訓(xùn)練需要將大量數(shù)據(jù)在計(jì)算和存儲(chǔ)單元之間來回移動(dòng)。這使得在邊緣設(shè)備上很難高效進(jìn)行訓(xùn)練任務(wù)。

基于憶阻器內(nèi)存高速訪問、斷電后仍可保存數(shù)據(jù)的特性，可以實(shí)現(xiàn)內(nèi)存+硬盤二合一，解決數(shù)據(jù)的大量移動(dòng)，從而進(jìn)一步實(shí)現(xiàn)了完全在芯片上進(jìn)行學(xué)習(xí)任務(wù)。

由此，清華團(tuán)隊(duì)提出憶阻器存算一體芯片。

它集成了高性能憶阻器陣列和必備模塊，同時(shí)也是一塊類腦計(jì)算芯片（neuro-inspired computing chip）。

為此，研究團(tuán)隊(duì)提出了一種新型通用算法和架構(gòu)（STELLAR）。

它利用憶阻器的特性，通過僅計(jì)算正負(fù)號(hào)、預(yù)定義閾值、循環(huán)調(diào)諧等設(shè)計(jì)，提升正向傳播算法映射到芯片硬件上的效率，從而實(shí)現(xiàn)了高效率、低功耗的片上學(xué)習(xí)。

研究人員通過幾個(gè)實(shí)驗(yàn)來驗(yàn)證片上學(xué)習(xí)的能力。

第一個(gè)實(shí)驗(yàn)中，有一臺(tái)追蹤光點(diǎn)的小車。在進(jìn)行提升學(xué)習(xí)前，小車在明亮場(chǎng)景中會(huì)跟丟光點(diǎn)。

而通過500個(gè)訓(xùn)練樣本進(jìn)行端側(cè)學(xué)習(xí)后，小車在明亮和黑暗場(chǎng)景中都能很好完成任務(wù)。

從下圖D中可以看到，小車在明亮場(chǎng)景下的得分從原來的0.602提升到了0.912。

另一個(gè)實(shí)驗(yàn)是進(jìn)行圖像識(shí)別。

實(shí)驗(yàn)步驟是先讓基本模型識(shí)別數(shù)字“0”和“2-9”，然后讓模型學(xué)習(xí)識(shí)別數(shù)字一個(gè)新類別的“1”。

結(jié)果可以看到，在經(jīng)過150次訓(xùn)練后，進(jìn)行提升學(xué)習(xí)能將準(zhǔn)確度從7%提升到93%。

研究團(tuán)隊(duì)十余年攻堅(jiān)

本次成果來自清華大學(xué)集成電路學(xué)院吳華強(qiáng)教授、高濱副教授團(tuán)隊(duì)。

吳華強(qiáng)教授現(xiàn)任清華大學(xué)集成電路學(xué)院院長(zhǎng)、清華大學(xué)微納加工中心主任。

2005年在美國(guó)康奈爾大學(xué)（Cornell University）電子與計(jì)算機(jī)工程學(xué)院獲工學(xué)博士學(xué)位。隨后先后在美國(guó)Spansion公司和美國(guó)Primet Precision Materials公司分別擔(dān)任高級(jí)工程師和技術(shù)主管。

2009年，加入清華大學(xué)微電子學(xué)研究所。

研究方向?yàn)樾滦痛鎯?chǔ)器及基于憶阻器的存算一體，涵蓋從器件、工藝集成、架構(gòu)、算法、芯片以及系統(tǒng)等多個(gè)層次。

高濱副教授于2013年獲得北京大學(xué)微電子與固體電子學(xué)專業(yè)力學(xué)博士學(xué)位，2015年加入清華大學(xué)微納電子系。

研究方向?yàn)樾滦痛鎯?chǔ)器，器件模型與模擬，設(shè)計(jì)-工藝協(xié)同優(yōu)化，存算一體與神經(jīng)形態(tài)芯片，信息安全芯片。

張文彬、姚鵬作為學(xué)術(shù)論文的第一作者。

實(shí)際上，關(guān)于該方向的存算一體芯片，清華團(tuán)隊(duì)已經(jīng)探索了十余年。

2012年，錢鶴、吳華強(qiáng)團(tuán)隊(duì)開始研究用憶阻器來做存儲(chǔ)。研究團(tuán)隊(duì)最初在實(shí)驗(yàn)室中探索憶阻器器件的一致性和良率。

2014年，清華大學(xué)與中科院微電子所、北京大學(xué)等單位合作，優(yōu)化憶阻器的器件工藝，制備出高性能憶阻器陣列——這一次提出的最新成果中已應(yīng)用。

2020年，錢鶴、吳華強(qiáng)團(tuán)隊(duì)基于多陣列憶阻器，搭建了一個(gè)全硬件構(gòu)成的完整存算一體系統(tǒng)，在這個(gè)系統(tǒng)上高效運(yùn)行了卷積神經(jīng)網(wǎng)絡(luò)算法，成功驗(yàn)證了圖像識(shí)別功能，比圖形處理器芯片的能效高兩個(gè)數(shù)量級(jí)，大幅提升了計(jì)算設(shè)備的算力，實(shí)現(xiàn)了以更小的功耗和更低的硬件成本完成復(fù)雜的計(jì)算。

如今，隨著大模型趨勢(shì)到來，AI算力瓶頸問題更加突出，存算一體等新方案也備受關(guān)注。

Science編輯表示，基于憶阻器的芯片技術(shù)近期受到非常大的關(guān)注，它有望克服馮諾依曼架構(gòu)造成的算力瓶頸。

論文地址：
https://www.science.org/doi/abs/10.1126/science.ade3483

參考鏈接：
https://mp.weixin.qq.com/s/w0VZNIQ1KbClJJ8c05hPqg