英特爾發(fā)布首個7nm芯片Loihi 2,用于神經(jīng)擬態(tài)計算,可模擬100萬神經(jīng)元
指甲蓋大小集成100萬神經(jīng)元
曉查 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
今天,英特爾發(fā)布了第二代神經(jīng)擬態(tài)芯片Loihi 2。
神經(jīng)擬態(tài)芯片是一種模擬生物神經(jīng)元的芯片。
與普通芯片不同的是,神經(jīng)擬態(tài)芯片的計算任務(wù)是由許多小單元進(jìn)行的,單元之間通過類似生物神經(jīng)的尖峰信號相互通信,并通過尖峰調(diào)整其行為。
目前,英特爾已經(jīng)將這種芯片用于機械臂、神經(jīng)擬態(tài)皮膚、機器嗅覺等場景。
2018年初,英特爾推出了其首款神經(jīng)擬態(tài)芯片Loihi,采用14nm制程。
英特爾表示,Loihi 2是對第一代的重大升級,也是使用英特爾第一個EUV工藝節(jié)點Intel 4制造的芯片,意為等效于4nm,實際為7nm工藝。
由于使用了全新工藝,Loihi 2相比前代面積縮小了一半,但仍然包含100萬個神經(jīng)元,數(shù)量是前代的8倍,處理速度是前代的10倍。
Loihi 2共有128個神經(jīng)擬態(tài)核心,這128個內(nèi)核每一個都有192KB的靈活內(nèi)存,每個神經(jīng)元可以根據(jù)模型分配多達(dá)4096個狀態(tài),而之前的限制只有24個。
與普通的CPU和GPU不同,神經(jīng)擬態(tài)沒有外部內(nèi)存。每個神經(jīng)元都有一小部分內(nèi)存供其專用。主要作用是分配給不同神經(jīng)元輸入的權(quán)重、最近活動的緩存以及峰值發(fā)送到的所有其他神經(jīng)元的列表。
Loihi 2可以根據(jù)用途選擇各種不同連接選項,這一點上有些類似于FPGA。
除了硬件產(chǎn)品外,英特爾還發(fā)布了用于Loihi芯片的軟件,一個名為Lava的新開發(fā)框架。
該框架以及相關(guān)庫都用Python編寫,并在GitHub上開源,開發(fā)人員無需訪問硬件即可為Loihi開發(fā)程序。
與神經(jīng)網(wǎng)絡(luò)有何不同
生物神經(jīng)元包含樹突和軸突。
Loihi芯片上執(zhí)行單元的一部分充當(dāng)“樹突”,根據(jù)過去行為的權(quán)重處理來自通信網(wǎng)絡(luò)的傳入信號。
然后它使用數(shù)學(xué)公式來確定活動何時越過臨界閾值,并在超過臨界閾值時觸發(fā)其自身的尖峰信號。之后執(zhí)行單元的“軸突”查找與哪些其他執(zhí)行單元通信,并向每個執(zhí)行單元發(fā)送尖峰信號。
為何要研究這種類型芯片?神經(jīng)擬態(tài)計算的倡導(dǎo)者認(rèn)為,這種方法更接近地模擬大腦功能的實際特征,例如大腦傳輸信號超高的能效比。
而研究深度學(xué)習(xí)學(xué)者,批評神經(jīng)形態(tài)方法沒有取得實際成果,像ResNet等深神經(jīng)網(wǎng)絡(luò)已經(jīng)在計算機視覺上取得了巨大的成功
Yann LeCun曾在2019年的一次會議上駁斥了神經(jīng)擬態(tài)計算方法。
雖然神經(jīng)擬態(tài)計算的研究熱度遠(yuǎn)不及神經(jīng)網(wǎng)絡(luò),但神經(jīng)擬態(tài)芯片的優(yōu)點在于其能效遠(yuǎn)高于傳統(tǒng)處理器。
IBM于2014年推出了TrueNorth芯片,盡管其運行頻率只有幾kHz,但它所模擬大腦尖峰神經(jīng)網(wǎng)絡(luò)所需的計算資源,只傳統(tǒng)處理器0.0001%。
英特爾神經(jīng)形態(tài)計算實驗室主任Mike Davies表示,Loihi在某些特定工作負(fù)載上,可以比傳統(tǒng)處理器效率高出2000倍。
此外,神經(jīng)擬態(tài)計算還能實現(xiàn)動態(tài)學(xué)習(xí)行為。
神經(jīng)網(wǎng)絡(luò)非常善于識別訓(xùn)練過的失誤,但不夠靈活,無法識別他們沒有訓(xùn)練的東西。Davies曾展示了神經(jīng)擬態(tài)計算根據(jù)視頻輸入學(xué)會識別新的手勢,同時不損壞之前訓(xùn)練的能力。
Davies認(rèn)為,神經(jīng)擬態(tài)芯片在機器人學(xué)中有很多潛在的應(yīng)用。當(dāng)移動機器人發(fā)現(xiàn)自己面臨新環(huán)境時,它們必須足夠靈活,以識別和適應(yīng)新環(huán)境。
參考鏈接:
[1]https://www.intel.com/content/www/us/en/newsroom/news/intel-unveils-neuromorphic-loihi-2-lava-software.html
[2]https://www.anandtech.com/show/16960/intel-loihi-2-intel-4nm-4
[3]https://www.zdnet.com/article/intel-rolls-out-second-gen-loihi-neuromorphic-chip/