清華“天眸芯”登Nature封面！全球首款類腦互補(bǔ)視覺芯片，施路平團(tuán)隊最新成果

西風(fēng) 2024-05-31 14:28:39 來源：量子位

西風(fēng) 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

清華類腦計算研究中心施路平團(tuán)隊新成果，登上最新一期Nature封面。

團(tuán)隊研發(fā)出世界首款類腦互補(bǔ)視覺芯片——“天眸芯”。

“天眸芯”實現(xiàn)了一種基于視覺原語的互補(bǔ)雙通路類腦視覺感知新范式，模仿了人類視覺系統(tǒng)特征。

性能上，“天眸芯”能夠以每秒10000幀的高速、10bit的高精度、130dB的高動態(tài)范圍進(jìn)行視覺信息采集，并大幅減少帶寬需求。

△圖源：清華大學(xué)官方公眾號

將“天眸芯”集成到自動駕駛系統(tǒng)中，即使面對突然閃光干擾、隧道等高動態(tài)范圍場景、異常物體移動等復(fù)雜情況，配合互補(bǔ)多通路算法，系統(tǒng)也能實現(xiàn)精準(zhǔn)認(rèn)知和快速響應(yīng)。

這回是真開“眸”了～

“天眸芯”長啥樣？

隨著自動駕駛、機(jī)器人、AI等開放世界應(yīng)用的發(fā)展，現(xiàn)有圖像傳感器面臨諸多挑戰(zhàn)，難以處理超出其傳感范圍的動態(tài)、多樣化和不可預(yù)測的情況。

比如快速騎自行車的人、意外行為、光線從明亮到陰暗的快速變化……

然鵝，圖像傳感器要向高速度、高分辨率、大動態(tài)范圍和高精度發(fā)展，還受功率和帶寬限制。

反觀人類視覺系統(tǒng)（HVS），具有超強(qiáng)的適應(yīng)能力和魯棒性。

人類視覺系統(tǒng)將視覺刺激解析為多種視覺原語，比如顏色、方向、動作等，并以互補(bǔ)的方式將它們分配到腹側(cè)路徑（what）和背側(cè)路徑（where、how）這兩條神經(jīng)通路，有效地提供了視覺場景的統(tǒng)一表征。

受此啟發(fā)，清華類腦計算研究中心團(tuán)隊提出了一種基于視覺原語的互補(bǔ)雙通路類腦視覺感知范式。

如下圖所示，此范式中的原語包括顏色、精度、靈敏度、空間分辨率、速度、絕對強(qiáng)度、空間差分（SD）和時序差分（TD）。

兩條互補(bǔ)的視覺路徑（CVP）為面向認(rèn)知的路徑（COP）和面向行動的路徑（AOP），對應(yīng)人類視覺系統(tǒng)的腹側(cè)和背側(cè)路徑。

COP使用顏色、強(qiáng)度、高空間分辨率和高精度的原語來實現(xiàn)準(zhǔn)確的認(rèn)知，最小化空間混疊和量化錯誤；AOP使用SD、TD和高速度的原語來實現(xiàn)快速響應(yīng)。

為實現(xiàn)上述范式，研究團(tuán)隊設(shè)計了視覺芯片“天眸芯”。

“天眸芯”整體架構(gòu)設(shè)計如下圖所示，包含兩個核心組件：

• 混合像素陣列（Hybrid Pixel Array），用于將光學(xué)信息轉(zhuǎn)換為電信號；
• 并行異構(gòu)讀出架構(gòu)（parallel-and-heterogeneous readout architecture），用于構(gòu)建兩條互補(bǔ)視覺路徑。

其中，混合像素陣列由錐狀像素和桿狀像素組成，具有不同的顏色、響應(yīng)模式、分辨率和靈敏度特性。

這些像素可以將視覺信息解析為特定顏色（紅、綠和藍(lán)）和白光譜，作為顏色對立原語，還可以通過使用高增益或低增益的電荷轉(zhuǎn)換模式來調(diào)節(jié)靈敏度，擴(kuò)展動態(tài)范圍。

錐狀像素采用4μm的細(xì)粒度間距實現(xiàn)絕對強(qiáng)度感測，桿狀像素有兩種不同的8μm和16μm的感受野（指一個神經(jīng)元或神經(jīng)元集群能夠響應(yīng)的特定區(qū)域內(nèi)的刺激），用于檢測時序差分和空間差分。

此外，桿狀像素內(nèi)嵌高密度存儲器，使用“乒乓行為”（ping-pong behaviour）緩沖歷史電壓，以連續(xù)計算時序差分。

再來看并行異構(gòu)讀出架構(gòu)。

其中，COP采用單斜率模數(shù)轉(zhuǎn)換器，對密集的絕對強(qiáng)度信號進(jìn)行高精度編碼。

AOP使用專門的讀出架構(gòu)，通過可編程閾值濾波器（programmable threshold filter）來最小化冗余和噪聲，同時保留關(guān)鍵信息；采用具有可配精度的快速自適應(yīng)數(shù)模轉(zhuǎn)換器（fast polarity-adaptive digital-to-analog converter）進(jìn)行信號量化；使用數(shù)據(jù)打包器（data packetizer）實現(xiàn)稀疏可變精度時序差分和空間差分信號的無損壓縮，以統(tǒng)一協(xié)議進(jìn)行打包。

并行讀出電路分別對應(yīng)COP和AOP，COP使用高精度并行ADC,AOP使用多精度自適應(yīng)ADC和稀疏編碼器,支持可重構(gòu)速度/精度并減少帶寬需求。

高速度、高動態(tài)范圍、低帶寬

研究團(tuán)隊從量子效率、動態(tài)范圍、響應(yīng)速度、功耗和帶寬等關(guān)鍵性能指標(biāo)上對“天眸芯”的進(jìn)行了全面評估。

“天眸芯”在COP和AOP兩個路徑上都展示了高量子效率，在530nm波長下，AOP的量子效率最大值達(dá)72%，而COP達(dá)到69%。

通過COP和AOP不同增益模式的動態(tài)范圍疊加，“天眸芯”實現(xiàn)了130dB的整體動態(tài)范圍。它能檢測從2.71×10^-3 μW/cm^2到8.04×10^3 μW/cm^2的光功率密度。

該動態(tài)范圍測試遵循EMVA1288標(biāo)準(zhǔn)，使用了專門設(shè)計的均勻光源和濾光裝置。

此外，“天眸芯”展現(xiàn)出了高空間分辨率和精度，以及在不可預(yù)測環(huán)境中的高魯棒性。

在具有快速運(yùn)動、旋轉(zhuǎn)和突變光照的極端場景中，COP和AOP能對視覺信息進(jìn)行互補(bǔ)感知和重建。比如，為消除AOP中由運(yùn)動引起的空間混疊和量化誤差，“天眸芯”利用COP的高空間分辨率和精度進(jìn)行補(bǔ)充。

響應(yīng)速度方面，AOP可重構(gòu)速度范圍從每秒757幀到10000幀，精度從±7bit到±1bit，補(bǔ)充了COP每秒30幀和10bit分辨率相對較慢的速度。

在瞬態(tài)閃電測試中，“天眸芯”能夠以±1bit在50毫伏的閾值下以10000fps的速度捕捉快速閃電。

由于高稀疏性，AOP在瞬態(tài)現(xiàn)象期間的峰值帶寬消耗僅約50兆字節(jié)每秒（MB s^-1），與具有相當(dāng)時空分辨率和精度的傳統(tǒng)相機(jī)相比，減少了90%（640×320×10000×2）。

更多高速響應(yīng)演示：

研究團(tuán)隊還使用一個綜合的性能評估指標(biāo)（FOM），結(jié)合最大采樣率和動態(tài)范圍，以衡量芯片的整體性能。

“天眸芯”在FOM方面表現(xiàn)出色，超越了現(xiàn)有的神經(jīng)形態(tài)傳感器和傳統(tǒng)圖像傳感器，同時保持了低功耗和低帶寬消耗。

為測試天眸芯在開放世界場景下的性能表現(xiàn)，研究團(tuán)隊開發(fā)了一個集成了“天眸芯”的自動駕駛感知系統(tǒng)，用于在開放道路上進(jìn)行評估。

評估涵蓋了多種復(fù)雜場景，包括：突發(fā)的光照變化，如閃光燈干擾；高動態(tài)范圍場景，如隧道入口和出口；領(lǐng)域偏移問題，涉及異常物體的檢測；多種角落。

為充分利用天眸芯架構(gòu)的優(yōu)勢，研究團(tuán)隊設(shè)計了一個多路徑算法，專門針對“天眸芯”的AOP和COP互補(bǔ)特性進(jìn)行了優(yōu)化。

當(dāng)場景涉及突然光閃，“天眸芯”在這種光閃情況下表現(xiàn)出了顯著的抵抗力，同時在正常情況下保持高感知性能。

對于實時高動態(tài)范圍感知，兩條路徑的互補(bǔ)靈敏度使得“天眸芯”能夠感知高亮度對比度而不犧牲速度。AOP-TD和AOP-SD的協(xié)作，使得系統(tǒng)能夠精確計算運(yùn)動方向和速度，以識別異常物體。

此外，天眸芯能夠同時處理多個角落案例，通過CVP的合作，提供多樣化的結(jié)果，為進(jìn)一步?jīng)Q策提供空間。

研究團(tuán)隊使用平均精度均值（mAP0.50）來評估算法性能。CVP在所有案例中都顯示出比單一路徑更優(yōu)越的整體檢測性能。

而且“天眸芯”在測試中消耗的帶寬不到80MB/s，平均功耗為328毫瓦，這證明了其在保持高性能的同時，也實現(xiàn)了低功耗和低帶寬消耗。

總的來說，實驗結(jié)果表明，天眸芯能夠高效適應(yīng)極端光照環(huán)境，并提供領(lǐng)域不變的多級感知能力，這對于自動駕駛系統(tǒng)在開放世界中的性能至關(guān)重要。

清華類腦計算中心再進(jìn)擊

該研究來自清華大學(xué)類腦計算中心團(tuán)隊，論文通訊作者為施路平教授和趙蓉教授。

△施路平教授（右一）和趙蓉教授（左二）指導(dǎo)學(xué)生實驗，圖源：清華大學(xué)官方公眾號

精密儀器系楊哲宇博士、精密儀器系2020級博士生王韜毅、林逸晗為論文共同一作。

△天眸芯研究團(tuán)隊，圖源：清華大學(xué)官方公眾號

清華大學(xué)類腦計算中心由施路平教授2013年3月全職入職清華大學(xué)后組建，從基礎(chǔ)理論、類腦計算系統(tǒng)芯片和軟件系統(tǒng)全方位進(jìn)行類腦計算研究。

在最新“天眸芯”這項成果中，北京靈汐科技有限公司為合作單位，論文共同一作楊哲宇現(xiàn)為北京靈汐科技有限公司研發(fā)經(jīng)理。

在“天眸芯”之前，清華大學(xué)類腦計算中心團(tuán)隊還在2019年憑借異構(gòu)融合類腦計算“天機(jī)芯”登Nature封面。

順便一提，與“天眸芯”同一天，清華還有一項研究登Nature。中國科學(xué)院院士、清華大學(xué)交叉信息研究院教授段路明帶領(lǐng)研究組首次實現(xiàn)基于數(shù)百離子量子比特的量子模擬計算。

Nature審稿人稱其是量子模擬領(lǐng)域的巨大進(jìn)步。

論文鏈接：https://www.nature.com/articles/s41586-024-07358-4