這個新型AI電子器件沒有硅！北航32歲教授共同一作，能模擬大腦神經(jīng)元，還登上了Science

明敏 2022-02-08 10:38:37 來源：量子位

明敏 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

用鈣鈦礦取代硅研制電子器件，居然還能被用來完成AI計算？？？

眾所周知，鈣鈦礦作為一種重要的材料，摻雜后主要用于生產(chǎn)SCI及博士論文（手動狗頭）。

這次被用在開發(fā)新型AI電子器件上，還登上了Science，結(jié)果讓人眼前一亮：

其心律識別任務(wù)的平均性能是傳統(tǒng)硬件的5.1倍，并且還能靈活模擬動態(tài)網(wǎng)絡(luò)、降低訓練能耗。

用神經(jīng)形態(tài)計算降能耗

這項研究主要是通過向鈣鈦礦中摻入不同量的氫，來模擬人類神經(jīng)元活動，從而完成不同機器學習任務(wù)。

這主要是基于鈣鈦礦自身的特性。

鈣鈦礦具備獨特的晶體結(jié)構(gòu)，很容易吸收氫離子。氫離子的加入可以改變材料的導電性，由此也就可以讓材料制備成一種可切換狀態(tài)的AI電子器件。

在這里研究人員使用了一種混合了釹和鎳的鈣鈦礦材料。

通過向這一材料中混合不同含量的氫離子，來改變元件的不同狀態(tài)，以此實現(xiàn)對大腦神經(jīng)元活動的模擬。

具體來看，在這種材料中加入大量氫離子后，它的電子最終會轉(zhuǎn)移到鎳原子上，導致原子電性發(fā)生改變，進而影響材料的導電性。

這時，施加外部電場可以控制氫的電子轉(zhuǎn)移；再控制氫的含量，則可以讓該電子元件在4種不同模式之間切換。

這4種模式分別是神經(jīng)元模式、突觸模式、電阻器模式和記憶電容器模式。

其中，在不摻雜或少量摻雜氫離子的情況下，該材料處于電阻器模式，可以用來存儲和處理信息。

在經(jīng)過一個電子脈沖刺激后，該硬件可切換到記憶電容器模式。記憶電容器是模仿大腦神經(jīng)網(wǎng)絡(luò)系統(tǒng)的常見元件。

神經(jīng)元模式會積累多個信號，此時元件電阻會發(fā)生明顯變化，可以模擬人類大腦神經(jīng)元被刺激時的活動狀態(tài)。

突觸模式則是根據(jù)神經(jīng)元信號的強度來轉(zhuǎn)換輸入。

之所以會想到向鈣鈦礦這種材料中摻入氫，是因為研究人員想要利用神經(jīng)擬態(tài)計算來構(gòu)建這一新器件。

這是一種不同于普通馮·諾依曼計算體系的結(jié)構(gòu)，它主要通過模擬人腦神經(jīng)元和突觸的活動來完成機器學習任務(wù)。

它最大的好處就是可以降低計算能耗，這對于解決未來更復雜、更大規(guī)模的AI計算具有重大意義。

由此一來，在進行AI計算時，便無需在硬件上激活、關(guān)閉不同的部分，只需控制硬件調(diào)整到相應模式即可。

研究人員還表示，這種電子器件的內(nèi)部是亞穩(wěn)定狀態(tài)，可以保持6個月不用替換氫離子。

實驗結(jié)果

那么，這種硬件在不同神經(jīng)網(wǎng)絡(luò)中的表現(xiàn)如何？就成為了驗證其性能的關(guān)鍵。

在這里，研究人員使用了兩個神經(jīng)網(wǎng)絡(luò)作為測試。

第一個是一種儲層計算網(wǎng)絡(luò)，這是一種模擬人類大腦運作方式的機器學習系統(tǒng)。

它的運作過程是將信息輸入到一個儲層，其中的數(shù)據(jù)以各種方式連接在一起，然后這些數(shù)據(jù)再被送出儲層進行分析。

由此一來，該網(wǎng)絡(luò)也就無需預訓練大量數(shù)據(jù)，僅對輸出前的最后一層網(wǎng)絡(luò)做梯度下降即可。

其中的關(guān)鍵儲層，將分別用此次提出的新電子器件和傳統(tǒng)硬件來完成運算。

與傳統(tǒng)理論儲層和實驗儲層相比，這種新型儲層（H-NNO）在MINIST（手寫數(shù)字識別）、SpokenDight（音頻數(shù)字識別）、ECGHeartBeat（心率識別）三個任務(wù)上都能使用更少的設(shè)備、實現(xiàn)相同的性能。

平均性能則分別高出1.4倍、1.2倍和5.1倍。

此外，基于這一新型電子器件設(shè)計的動態(tài)神經(jīng)網(wǎng)絡(luò)，在處理增量學習上的表現(xiàn)也非常好。

如下網(wǎng)絡(luò)（GWR）是一個可以識別紅鳥、黃鳥的系統(tǒng)。理想狀態(tài)下，當網(wǎng)絡(luò)檢測到新類型（藍鳥）的輸入時，系統(tǒng)會通過增加節(jié)點的方式來擴大網(wǎng)絡(luò)規(guī)模。

如果其中任何一類動物長時間沒有出現(xiàn)在輸入中，其對應的節(jié)點也會隨之關(guān)閉，以此來節(jié)省能耗。

研究人員繼續(xù)使用了手寫數(shù)字識別這一數(shù)據(jù)集來進行測試。

首先，他們讓網(wǎng)絡(luò)識別0-4范圍內(nèi)的數(shù)字。然后將范圍擴大到0-9訓練一段時間，之后再只識別0-4。

結(jié)果顯示，隨著后來5-9的數(shù)字不再出現(xiàn)，網(wǎng)絡(luò)中的相關(guān)節(jié)點也在逐漸關(guān)閉。

下圖i-iii中，數(shù)字表示對應打開節(jié)點，黑色區(qū)域則表示關(guān)閉的節(jié)點。

再將這一動態(tài)神經(jīng)網(wǎng)絡(luò)與靜態(tài)網(wǎng)絡(luò)對比，研究人員發(fā)現(xiàn)在增量學習場景下，對于MNIST、CUB-200兩個數(shù)據(jù)集，動態(tài)網(wǎng)絡(luò)的表現(xiàn)都更好。

從如下圖B-E中可以看到，在MINIST數(shù)據(jù)集測試中，動態(tài)網(wǎng)絡(luò)最終準確性是靜態(tài)網(wǎng)絡(luò)的2.1倍；數(shù)據(jù)集CUB-200的最終準確性則是靜態(tài)網(wǎng)路的2.5倍。

北航張海天教授為共同一作及通訊作者

北京航空航天大學張海天教授為該論文的共同一作及通訊作者。

他博士畢業(yè)于美國賓夕法尼亞州立大學材料科學與工程專業(yè)。

2018年獲得美國吉爾布雷斯學者基金（Gilbreth Research Fellow），于普渡大學工程院開展獨立研究工作（合作教授：Shriram Ramanathan以及Kaushik Roy）。

去年9月，張海天全職加入北京航空航天大學材料科學與工程學院。

主要研究領(lǐng)域為功能相變材料的調(diào)控及神經(jīng)計算學器件應用、磁性功能材料、納米材料等。