清華“天眸芯”登Nature封面！全球首款類腦互補視覺芯片，施路平團隊最新成果

西風(fēng) 2024-05-31 14:28:39 來源：量子位

西風(fēng) 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

清華類腦計算研究中心施路平團隊新成果，登上最新一期Nature封面。

團隊研發(fā)出世界首款類腦互補視覺芯片——“天眸芯”。

“天眸芯”實現(xiàn)了一種基于視覺原語的互補雙通路類腦視覺感知新范式，模仿了人類視覺系統(tǒng)特征。

性能上，“天眸芯”能夠以每秒10000幀的高速、10bit的高精度、130dB的高動態(tài)范圍進行視覺信息采集，并大幅減少帶寬需求。

△圖源：清華大學(xué)官方公眾號

將“天眸芯”集成到自動駕駛系統(tǒng)中，即使面對突然閃光干擾、隧道等高動態(tài)范圍場景、異常物體移動等復(fù)雜情況，配合互補多通路算法，系統(tǒng)也能實現(xiàn)精準認知和快速響應(yīng)。

這回是真開“眸”了～

“天眸芯”長啥樣？

隨著自動駕駛、機器人、AI等開放世界應(yīng)用的發(fā)展，現(xiàn)有圖像傳感器面臨諸多挑戰(zhàn)，難以處理超出其傳感范圍的動態(tài)、多樣化和不可預(yù)測的情況。

比如快速騎自行車的人、意外行為、光線從明亮到陰暗的快速變化……

然鵝，圖像傳感器要向高速度、高分辨率、大動態(tài)范圍和高精度發(fā)展，還受功率和帶寬限制。

反觀人類視覺系統(tǒng)（HVS），具有超強的適應(yīng)能力和魯棒性。

人類視覺系統(tǒng)將視覺刺激解析為多種視覺原語，比如顏色、方向、動作等，并以互補的方式將它們分配到腹側(cè)路徑（what）和背側(cè)路徑（where、how）這兩條神經(jīng)通路，有效地提供了視覺場景的統(tǒng)一表征。

受此啟發(fā)，清華類腦計算研究中心團隊提出了一種基于視覺原語的互補雙通路類腦視覺感知范式。

如下圖所示，此范式中的原語包括顏色、精度、靈敏度、空間分辨率、速度、絕對強度、空間差分（SD）和時序差分（TD）。

兩條互補的視覺路徑（CVP）為面向認知的路徑（COP）和面向行動的路徑（AOP），對應(yīng)人類視覺系統(tǒng)的腹側(cè)和背側(cè)路徑。

COP使用顏色、強度、高空間分辨率和高精度的原語來實現(xiàn)準確的認知，最小化空間混疊和量化錯誤；AOP使用SD、TD和高速度的原語來實現(xiàn)快速響應(yīng)。

為實現(xiàn)上述范式，研究團隊設(shè)計了視覺芯片“天眸芯”。

“天眸芯”整體架構(gòu)設(shè)計如下圖所示，包含兩個核心組件：

• 混合像素陣列（Hybrid Pixel Array），用于將光學(xué)信息轉(zhuǎn)換為電信號；
• 并行異構(gòu)讀出架構(gòu)（parallel-and-heterogeneous readout architecture），用于構(gòu)建兩條互補視覺路徑。

其中，混合像素陣列由錐狀像素和桿狀像素組成，具有不同的顏色、響應(yīng)模式、分辨率和靈敏度特性。

這些像素可以將視覺信息解析為特定顏色（紅、綠和藍）和白光譜，作為顏色對立原語，還可以通過使用高增益或低增益的電荷轉(zhuǎn)換模式來調(diào)節(jié)靈敏度，擴展動態(tài)范圍。

錐狀像素采用4μm的細粒度間距實現(xiàn)絕對強度感測，桿狀像素有兩種不同的8μm和16μm的感受野（指一個神經(jīng)元或神經(jīng)元集群能夠響應(yīng)的特定區(qū)域內(nèi)的刺激），用于檢測時序差分和空間差分。

此外，桿狀像素內(nèi)嵌高密度存儲器，使用“乒乓行為”（ping-pong behaviour）緩沖歷史電壓，以連續(xù)計算時序差分。

再來看并行異構(gòu)讀出架構(gòu)。

其中，COP采用單斜率模數(shù)轉(zhuǎn)換器，對密集的絕對強度信號進行高精度編碼。

AOP使用專門的讀出架構(gòu)，通過可編程閾值濾波器（programmable threshold filter）來最小化冗余和噪聲，同時保留關(guān)鍵信息；采用具有可配精度的快速自適應(yīng)數(shù)模轉(zhuǎn)換器（fast polarity-adaptive digital-to-analog converter）進行信號量化；使用數(shù)據(jù)打包器（data packetizer）實現(xiàn)稀疏可變精度時序差分和空間差分信號的無損壓縮，以統(tǒng)一協(xié)議進行打包。

并行讀出電路分別對應(yīng)COP和AOP，COP使用高精度并行ADC,AOP使用多精度自適應(yīng)ADC和稀疏編碼器,支持可重構(gòu)速度/精度并減少帶寬需求。

高速度、高動態(tài)范圍、低帶寬

研究團隊從量子效率、動態(tài)范圍、響應(yīng)速度、功耗和帶寬等關(guān)鍵性能指標(biāo)上對“天眸芯”的進行了全面評估。

“天眸芯”在COP和AOP兩個路徑上都展示了高量子效率，在530nm波長下，AOP的量子效率最大值達72%，而COP達到69%。

通過COP和AOP不同增益模式的動態(tài)范圍疊加，“天眸芯”實現(xiàn)了130dB的整體動態(tài)范圍。它能檢測從2.71×10^-3 μW/cm^2到8.04×10^3 μW/cm^2的光功率密度。

該動態(tài)范圍測試遵循EMVA1288標(biāo)準，使用了專門設(shè)計的均勻光源和濾光裝置。

此外，“天眸芯”展現(xiàn)出了高空間分辨率和精度，以及在不可預(yù)測環(huán)境中的高魯棒性。

在具有快速運動、旋轉(zhuǎn)和突變光照的極端場景中，COP和AOP能對視覺信息進行互補感知和重建。比如，為消除AOP中由運動引起的空間混疊和量化誤差，“天眸芯”利用COP的高空間分辨率和精度進行補充。

響應(yīng)速度方面，AOP可重構(gòu)速度范圍從每秒757幀到10000幀，精度從±7bit到±1bit，補充了COP每秒30幀和10bit分辨率相對較慢的速度。

在瞬態(tài)閃電測試中，“天眸芯”能夠以±1bit在50毫伏的閾值下以10000fps的速度捕捉快速閃電。

由于高稀疏性，AOP在瞬態(tài)現(xiàn)象期間的峰值帶寬消耗僅約50兆字節(jié)每秒（MB s^-1），與具有相當(dāng)時空分辨率和精度的傳統(tǒng)相機相比，減少了90%（640×320×10000×2）。

更多高速響應(yīng)演示：

研究團隊還使用一個綜合的性能評估指標(biāo)（FOM），結(jié)合最大采樣率和動態(tài)范圍，以衡量芯片的整體性能。

“天眸芯”在FOM方面表現(xiàn)出色，超越了現(xiàn)有的神經(jīng)形態(tài)傳感器和傳統(tǒng)圖像傳感器，同時保持了低功耗和低帶寬消耗。

為測試天眸芯在開放世界場景下的性能表現(xiàn)，研究團隊開發(fā)了一個集成了“天眸芯”的自動駕駛感知系統(tǒng)，用于在開放道路上進行評估。

評估涵蓋了多種復(fù)雜場景，包括：突發(fā)的光照變化，如閃光燈干擾；高動態(tài)范圍場景，如隧道入口和出口；領(lǐng)域偏移問題，涉及異常物體的檢測；多種角落。

為充分利用天眸芯架構(gòu)的優(yōu)勢，研究團隊設(shè)計了一個多路徑算法，專門針對“天眸芯”的AOP和COP互補特性進行了優(yōu)化。

當(dāng)場景涉及突然光閃，“天眸芯”在這種光閃情況下表現(xiàn)出了顯著的抵抗力，同時在正常情況下保持高感知性能。

對于實時高動態(tài)范圍感知，兩條路徑的互補靈敏度使得“天眸芯”能夠感知高亮度對比度而不犧牲速度。AOP-TD和AOP-SD的協(xié)作，使得系統(tǒng)能夠精確計算運動方向和速度，以識別異常物體。

此外，天眸芯能夠同時處理多個角落案例，通過CVP的合作，提供多樣化的結(jié)果，為進一步?jīng)Q策提供空間。

研究團隊使用平均精度均值（mAP0.50）來評估算法性能。CVP在所有案例中都顯示出比單一路徑更優(yōu)越的整體檢測性能。

而且“天眸芯”在測試中消耗的帶寬不到80MB/s，平均功耗為328毫瓦，這證明了其在保持高性能的同時，也實現(xiàn)了低功耗和低帶寬消耗。

總的來說，實驗結(jié)果表明，天眸芯能夠高效適應(yīng)極端光照環(huán)境，并提供領(lǐng)域不變的多級感知能力，這對于自動駕駛系統(tǒng)在開放世界中的性能至關(guān)重要。

清華類腦計算中心再進擊

該研究來自清華大學(xué)類腦計算中心團隊，論文通訊作者為施路平教授和趙蓉教授。

△施路平教授（右一）和趙蓉教授（左二）指導(dǎo)學(xué)生實驗，圖源：清華大學(xué)官方公眾號

精密儀器系楊哲宇博士、精密儀器系2020級博士生王韜毅、林逸晗為論文共同一作。

△天眸芯研究團隊，圖源：清華大學(xué)官方公眾號

清華大學(xué)類腦計算中心由施路平教授2013年3月全職入職清華大學(xué)后組建，從基礎(chǔ)理論、類腦計算系統(tǒng)芯片和軟件系統(tǒng)全方位進行類腦計算研究。

在最新“天眸芯”這項成果中，北京靈汐科技有限公司為合作單位，論文共同一作楊哲宇現(xiàn)為北京靈汐科技有限公司研發(fā)經(jīng)理。

在“天眸芯”之前，清華大學(xué)類腦計算中心團隊還在2019年憑借異構(gòu)融合類腦計算“天機芯”登Nature封面。

順便一提，與“天眸芯”同一天，清華還有一項研究登Nature。中國科學(xué)院院士、清華大學(xué)交叉信息研究院教授段路明帶領(lǐng)研究組首次實現(xiàn)基于數(shù)百離子量子比特的量子模擬計算。

Nature審稿人稱其是量子模擬領(lǐng)域的巨大進步。

論文鏈接：https://www.nature.com/articles/s41586-024-07358-4