GAN靠「?jìng)卧焖季S」登上Nature子刊：首次合成神經(jīng)活動(dòng)數(shù)據(jù)

夢(mèng)晨 2021-11-22 15:12:06 來(lái)源：量子位

博雯 夢(mèng)晨 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

GAN這回玩了票大的，把手伸向了“人腦思維”。

沒(méi)錯(cuò)，直接就是一個(gè)“合成思維”——生成用來(lái)喂給腦機(jī)接口的那種大腦活動(dòng)數(shù)據(jù)。

作者表示，這是AI首次在該領(lǐng)域被應(yīng)用。

并且這項(xiàng)技術(shù)一舉把訓(xùn)練腦機(jī)接口系統(tǒng)提取、分析大腦信號(hào)的時(shí)間，提高了整整20倍。

此項(xiàng)研究來(lái)自南加大華人博士溫士賢團(tuán)隊(duì)。

論文已發(fā)表在Nature子刊上。

而在我們與作者溫士賢的深入交談中，他表示會(huì)繼續(xù)推進(jìn)相關(guān)研究：

這項(xiàng)研究成果未來(lái)可以用于諸多神經(jīng)解碼問(wèn)題上，自己也會(huì)繼續(xù)在失眠、自閉癥、多動(dòng)癥、阿茲海默癥等疾病的個(gè)性化的干預(yù)和阻斷上進(jìn)行研究。

首次用AI合成“思維”

可是問(wèn)題就來(lái)了，為什么要用AI去“偽造”神經(jīng)活動(dòng)數(shù)據(jù)呢？

直接用人類(lèi)的不好嗎？

還真不一定好。

比如，今年5月份登上Nature封面的意念打字研究，這位代號(hào)T5，全身癱瘓的老爺子是唯一的受試者：

模型所需的訓(xùn)練數(shù)據(jù)，就是這位老爺子在腦中一筆一畫(huà)“寫(xiě)”出來(lái)的字母：

在腦海中想象文字的軌跡和手動(dòng)書(shū)寫(xiě)本來(lái)就難度不同，而模型需要的還不僅是幾個(gè)字母，而是大量重復(fù)的書(shū)寫(xiě)數(shù)據(jù)。

要讓一位殘疾人每天花幾個(gè)小時(shí)去做重復(fù)任務(wù)，不僅辛苦，數(shù)據(jù)收集的速度和數(shù)據(jù)集最終的大小自然都非常有限。

而在要讓算法解讀神經(jīng)活動(dòng)信號(hào)的腦機(jī)接口，本身也是一個(gè)機(jī)器學(xué)習(xí)問(wèn)題。

因此，算法效果當(dāng)然會(huì)依賴(lài)于巨量訓(xùn)練數(shù)據(jù)的支撐，而在實(shí)際實(shí)驗(yàn)中，真不一定弄得到那么多數(shù)據(jù)。

就算有充足的可用數(shù)據(jù)，不同受試對(duì)象的神經(jīng)元信號(hào)也存在差異。

一個(gè)人的數(shù)據(jù)訓(xùn)練出來(lái)的解碼算法要應(yīng)用到另一個(gè)人身上，就必須重頭再來(lái)。

除此之外，就算是同主體上的解碼算法的效果，也會(huì)隨著時(shí)間推移而變差，需要定期重新校準(zhǔn)。

更何況，有些最需要腦機(jī)接口幫助的殘障人士，因神經(jīng)系統(tǒng)損壞已經(jīng)無(wú)法發(fā)送相應(yīng)的信號(hào)了。

那么，要如何解決或者改善上面這些問(wèn)題呢？

溫士賢博士表示：

GAN就完事兒了。

讓猴子玩貪吃蛇

這次研究的被試者是兩只小猴子，它們需要完成的任務(wù)很簡(jiǎn)單。

屏幕上會(huì)有物體在隨機(jī)位置出現(xiàn)，小猴子要用搖桿控制屏幕上的光標(biāo)去接觸這個(gè)物體。

結(jié)合論文的配圖一看，大概類(lèi)似于貪吃蛇？

小猴子手臂處植入的電極陣列會(huì)采集神經(jīng)的運(yùn)動(dòng)控制（Motor Control）信號(hào)。

初級(jí)運(yùn)動(dòng)皮層的神經(jīng)元會(huì)以1-2毫秒間隔釋放100毫伏左右的間歇性脈沖，神經(jīng)元每次激發(fā)就會(huì)產(chǎn)生一個(gè)峰值。

這種活動(dòng)模式被叫做峰電位序列?（Spike Train）。

研究人員先用雙向LSTM網(wǎng)絡(luò)設(shè)計(jì)了GAN中的生成器和鑒別器，用采集到的神經(jīng)數(shù)據(jù)加上隨機(jī)高斯噪聲來(lái)合成新的數(shù)據(jù)。

研究要解決的關(guān)鍵問(wèn)題，是如何只用少量真實(shí)采集的數(shù)據(jù)來(lái)生產(chǎn)可用的合成數(shù)據(jù)。

對(duì)于神經(jīng)信號(hào)來(lái)說(shuō)，合成數(shù)據(jù)的可用性面臨兩個(gè)問(wèn)題：

不同個(gè)體產(chǎn)生的信號(hào)有不同模式，就連同一個(gè)體在不同時(shí)間的神經(jīng)信號(hào)也會(huì)不同。

而之前的步驟就相當(dāng)于預(yù)訓(xùn)練，下一步就是針對(duì)這些情況來(lái)微調(diào)。

結(jié)合另一只猴子或同一只猴子在不同時(shí)間采集的數(shù)據(jù)來(lái)作微調(diào)，最終產(chǎn)生大量可適用于不同情況的峰電位序列。

最后一步就是驗(yàn)證用少量真實(shí)數(shù)據(jù)+大量合成的數(shù)據(jù)訓(xùn)練腦機(jī)接口解碼器，以驗(yàn)證效果。

最終他們只用不到1分鐘的真實(shí)數(shù)據(jù)加上合成數(shù)據(jù)，就能當(dāng)20分鐘的真實(shí)數(shù)據(jù)用。

論文最后提到，雖然這次研究只實(shí)驗(yàn)了猴子的運(yùn)動(dòng)控制信號(hào)，不過(guò)研究所用的方法是純數(shù)據(jù)驅(qū)動(dòng)的，不對(duì)運(yùn)動(dòng)控制問(wèn)題有額外的設(shè)計(jì)。

換句話說(shuō)，這篇論文提出的方法是通用的，如果用于其他神經(jīng)的編碼解碼問(wèn)題，只需要做最小限度的修改即可。

論文第一作者溫士賢在與杜克大學(xué)腦機(jī)接口專(zhuān)家Miguel Nicolelis合作的另一項(xiàng)研究中還做了讓小猴子玩跑步機(jī)的實(shí)驗(yàn)。

溫士賢表示，這是AI第一次用于合成思維或運(yùn)動(dòng)信號(hào)，能推進(jìn)腦機(jī)接口技術(shù)的進(jìn)一步應(yīng)用落地。

不過(guò)還有最后一個(gè)問(wèn)題，以猴子為實(shí)驗(yàn)對(duì)象做出來(lái)的方法能不能遷移到人類(lèi)身上？

在與量子位的交流中，溫士賢認(rèn)為僅從解碼算法的角度來(lái)看問(wèn)題不大，研究中已經(jīng)考慮到了這一點(diǎn)。

更多的問(wèn)題是腦機(jī)接口硬件和材料的設(shè)計(jì)問(wèn)題，比如設(shè)備和人類(lèi)生物細(xì)胞的兼容度，還有采集芯片怎么快速和安全地植入到正確的位置等。

“腦機(jī)接口的重點(diǎn)還是科學(xué)”

論文的一作溫士賢本科畢業(yè)于北京交通大學(xué)，現(xiàn)在是一名南加州大學(xué)維特比工程學(xué)院的博士生，就讀于計(jì)算機(jī)系，主要研究方向是AI和神經(jīng)科學(xué)。

而他的導(dǎo)師是南加州大學(xué)的計(jì)算機(jī)科學(xué)，心理學(xué)和神經(jīng)科學(xué)的教授、CS系副主任Laurent Itti。

Laurent Itti主要研究視覺(jué)注意、場(chǎng)景理解、眼球運(yùn)動(dòng)控制等領(lǐng)域，同時(shí)也是多個(gè)開(kāi)源的神經(jīng)形態(tài)視覺(jué)軟件工具包的開(kāi)發(fā)者。

腦機(jī)接口其實(shí)并不是導(dǎo)師Itti的主要研究方向，神經(jīng)科學(xué)一開(kāi)始只是溫士賢自己的興趣。

在研究生期間，又一次他看到杜克大學(xué)腦機(jī)接口專(zhuān)家Miguel Nicolelis教授著名的TED演講，介紹了他們?nèi)绾斡媚X機(jī)接口幫助一個(gè)癱瘓青年用意念在巴西足球世界杯上開(kāi)了第一球。

后來(lái)他更是有機(jī)會(huì)到Nicolelis教授的實(shí)驗(yàn)室實(shí)習(xí)。

這算是我第一次和腦機(jī)接口“結(jié)緣”。

而這次的論文是溫士賢自己拉來(lái)日內(nèi)瓦大學(xué)和美國(guó)西北大學(xué)的研究者一起合作完成。

現(xiàn)在，溫士賢即將博士畢業(yè)，而他也選擇繼續(xù)在AI+神經(jīng)科學(xué)的方向從業(yè)。

目前他已經(jīng)面試了一些國(guó)內(nèi)的大學(xué)和研究機(jī)構(gòu)，以及當(dāng)紅的腦機(jī)接口公司，已經(jīng)拿到一些不錯(cuò)的Offer。

而關(guān)于腦機(jī)接口，神經(jīng)科學(xué)的行業(yè)現(xiàn)狀和趨勢(shì)，溫士賢表示：

腦科學(xué)的市場(chǎng)本身有巨大的需求，比如Neuralink的腦疾病治療、Apple的mental health評(píng)估、Meta的Ctrl lab在元宇宙中改善人機(jī)交互的硬件等等。

所以它的重點(diǎn)還是科學(xué)，而不是比誰(shuí)的市場(chǎng)化做得更好。

因此，這種商業(yè)模式是最有利于我們這種科研人員創(chuàng)業(yè)的。

論文地址：
https://www.nature.com/articles/s41551-021-00811-z

參考鏈接：
[1]https://viterbischool.usc.edu/news/2021/11/deepfaking-the-mind-could-improve-brain-computer-interfaces-for-people-with-disabilities/
[2]https://www.stat.cmu.edu/~kass/papers/SpikeTrain.pdf