眨眼就能照相？哈佛從神經(jīng)信號提取出圖像，成果登Nature
未來計劃集成至腦機接口
克雷西 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
將肉眼直接用來“照相”，也許將成為可能……
哈佛團(tuán)隊推出的新模型能夠分析神經(jīng)信號，甚至從視覺皮層中直接提取影像。
相比于傳統(tǒng)神經(jīng)解析工具，這項成果大大提高了識別效率和連續(xù)性。
Nature的編輯也評價它“十分優(yōu)雅”：
這款模型名叫CEBRA（發(fā)音同zebra），是將對比式學(xué)習(xí)與非線性獨立分析相結(jié)合的產(chǎn)物。
一名團(tuán)隊成員表示，這個名字十分貼切，因為CEBRA可以把信息“條紋化”，就像斑馬一樣。
在小鼠身上進(jìn)行的實驗中，CEBRA視頻解析的準(zhǔn)確率超過了95%。
團(tuán)隊還發(fā)現(xiàn)，CEBRA在跨越大鼠和小鼠兩個物種時的表現(xiàn)具有一致性。
所以可以展望CEBRA在其他物種上的應(yīng)用，說不定人眼攝像機也會成為可能。
論文通訊作者也表示，未來的目標(biāo)是將CEBRA集成到腦機接口中：
本質(zhì)上，CEBRA是一個神經(jīng)信號解析模型。
所以它的技能不只有圖像獲取，只要和神經(jīng)信號有關(guān)的事情，它都能做。
比如根據(jù)神經(jīng)活動來預(yù)測肢體的運動行為。
還可以根據(jù)神經(jīng)信號判斷肢體活動是主動還是被動做出。
對比式非線性學(xué)習(xí)
行為或神經(jīng)數(shù)據(jù)的降維壓縮一直是神經(jīng)信號識別中不可缺少的一環(huán)。
研究團(tuán)隊將對比式學(xué)習(xí)引入非線性獨立成分分析模型，提出了新的框架。
對比式學(xué)習(xí)是一種強大的自驅(qū)動學(xué)習(xí)方式，使用呈現(xiàn)對比關(guān)系的樣本進(jìn)行訓(xùn)練，以發(fā)現(xiàn)數(shù)據(jù)間的共性與個性。
用CEBRA的模型訓(xùn)練神經(jīng)網(wǎng)絡(luò)，可以得到一種編碼器。
這種編碼器則可以生成由動作或時間調(diào)控的低維嵌入空間。
具體而言，是通過將離散或連續(xù)的變量與時間相結(jié)合使數(shù)據(jù)對得到分布，然后再交由編碼器處理。
CEBRA獲取神經(jīng)活動嵌入時同時使用用戶定義（監(jiān)督驅(qū)動、假設(shè)式）和只帶有時間（自驅(qū)動、發(fā)現(xiàn)式）的標(biāo)簽。
這一過程中，CEBRA將行為及時間標(biāo)簽與神經(jīng)信號一并優(yōu)化，映射到低維嵌入空間。
根據(jù)數(shù)據(jù)集大小的不同，優(yōu)化計算可以采用批量計算、隨機梯度下降等不同方式。
優(yōu)化后得到的低維嵌入既可以用于數(shù)據(jù)可視化，也可以在解碼等下游工作中使用。
相比于傳統(tǒng)的非線性降維方式，對比式訓(xùn)練無需生成模型，適用廣泛性更強。
魯棒性與實用性兼具
在事實信息重構(gòu)的測試中，CEBRA的表現(xiàn)顯著優(yōu)于pi-VAE。
然后，團(tuán)隊又使用了一個海馬數(shù)據(jù)集進(jìn)行測試，該數(shù)據(jù)集被用來作為神經(jīng)嵌入算法的基準(zhǔn)。
在這一輪測試中，團(tuán)隊賦予了pi-VAE卷積網(wǎng)絡(luò)加持，但最終結(jié)果仍是CEBRA更勝一籌。
魯棒性方面，團(tuán)隊使用了代數(shù)拓?fù)鋵W(xué)方法進(jìn)行測試。
將CEBRA生成的低維嵌入投影到球面，團(tuán)隊發(fā)現(xiàn)了一個環(huán)形拓?fù)浣Y(jié)構(gòu)。
通過計算Eilenberg-MacLane坐標(biāo)發(fā)現(xiàn)，CEBRA的環(huán)形拓?fù)浣Y(jié)構(gòu)與（真實）空間跨維度匹配。
至于跨個體甚至物種的表現(xiàn)，團(tuán)隊在訓(xùn)練時就使用了包含多種動物的數(shù)據(jù)集。
測試結(jié)果也表明，CEBRA生成的結(jié)果具有很高的個體間和種間一致性。
與完全在未見過的個體上進(jìn)行訓(xùn)練相比，CEBRA的結(jié)果錯誤更少、效率也更高。
實際應(yīng)用中，團(tuán)隊在小鼠身上進(jìn)行了實驗。
他們讓小鼠反復(fù)觀看幾段視頻，并與小鼠視覺皮層的信號一并作為訓(xùn)練數(shù)據(jù)。
另有一些視頻則用作測試數(shù)據(jù)，結(jié)果顯示，CEBRA視頻解析的準(zhǔn)確率超過了95%，遠(yuǎn)高于其他模型。
論文地址：
https://www.nature.com/articles/s41586-023-06031-6
項目主頁：
https://github.com/AdaptiveMotorControlLab/CEBRA
相關(guān)閱讀
CIVC 2023第一屆中國工業(yè)視覺大會正式確定！
CIVC 2023第一屆中國工業(yè)視覺大會即將于2023年6月26日至27日隆重亮相2023蘇州全球智博會，期待你的參與！
速來！人工智能未來設(shè)計大賽· 大模型專項競技賽火熱報名中！
大賽報名于2025年3月31日截止，感興趣的團(tuán)隊歡迎盡快報名參賽，共同開啟大模型賦能萬物智能的新紀(jì)元！
