“意念打字”新方法：每分鐘能寫近30個(gè)字母，錯(cuò)誤率僅6.13% | Nature子刊

alex 2022-11-30 15:13:38 來源：量子位

Alex 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

頭戴特殊裝備，然后就能在屏幕上展示出自己的想法。

——沒錯(cuò)，這位無法說話的癱瘓者正在“意念回復(fù)”ing……

他在腦中默讀字母的“代號”*，平均約2秒鐘就可以輸出一個(gè)字母，最終平均字符錯(cuò)誤率僅6.13%。

研究者表示，這種腦機(jī)接口堪稱截癱和漸凍癥患者的福音：

從大腦活動中解碼語音來幫患者“說話”，是一種非常有潛力的新方案！

去年，斯坦大學(xué)研究團(tuán)隊(duì)也給一位癱瘓且無法說話的老爺子植入了腦機(jī)接口，成果還登上了Nature封面。

雖然準(zhǔn)確率超過了99%，但他們用的另一種方式：讓患者在腦中“手寫”字母。

而現(xiàn)在這個(gè)用腦機(jī)接口來讀取大腦中“語音”的團(tuán)隊(duì)，來自加利福尼亞大學(xué)舊金山分校（UCSF）。

最近，他們的相關(guān)論文登上了Nature Communications。

下面就來看看這群研究者具體是如何操作的。

植入腦機(jī)接口，讀取大腦“語音”

植入患者頭部的設(shè)備如下：

一組高密度的電極，即128通道皮質(zhì)電圖（ECoG）陣列；另外還有一個(gè)經(jīng)皮連接器，用來連接植入設(shè)備和外部系統(tǒng)。

其實(shí)早2019年，這些設(shè)備就被植入到該患者的頭部。幾年過去了，目前沒有任何手術(shù)并發(fā)癥。

在拼寫測試正式開始前，是數(shù)據(jù)的收集和預(yù)處理。

研究人員通過植入的ECoG陣列以及外部計(jì)算機(jī)系統(tǒng)，來提取并分析患者神經(jīng)特征，包括高伽馬活動（High-gamma activity，HGA）和低頻信號（ Low-frequency signal，LFS）等。

其中，高伽馬活動是判斷成年人認(rèn)知功能的重要指標(biāo)；而分析低頻振蕩則有助于判斷大腦中想象的語音以及腦損傷程度。

為了提高數(shù)據(jù)質(zhì)量，研究者使用濾波器對所得數(shù)據(jù)進(jìn)行了降噪處理。

研究者由這些數(shù)據(jù)得出，雖然患者癱瘓且無法說話，但他的腦子基本正常。

下面，拼寫試驗(yàn)正式開始——首先，患者在大腦中默念一個(gè)單詞來自動喚醒AI。

然后根據(jù)屏幕上顯示出的問題，在腦子中按字母作答，并根據(jù)提示每2秒左右想象一個(gè)字母。

不過他在腦中默念的并非每個(gè)字母本身讀音，而是其NATO代碼（比如α代替a，β代替b）。

因?yàn)镹ATO代碼比字母本身發(fā)音更長、更多變，按理來說應(yīng)該更容易被辨別。

為了證明默念NATO代碼發(fā)音確實(shí)比字母本身發(fā)音效果更好，研究人員還專門做了對比實(shí)驗(yàn)。

結(jié)果顯示，默讀NATO代碼時(shí)，大腦神經(jīng)的活動整體差異性真的比讀字母原發(fā)音明顯，并且總體識別準(zhǔn)確率也更高。

在患者“意念輸出”的同時(shí)，基于RNN的字母分類模型會處理每一個(gè)神經(jīng)時(shí)間窗。

研究者設(shè)計(jì)了單詞錯(cuò)誤率（WER）、字符錯(cuò)誤率（CER）、每分鐘單詞數(shù)（WPM）等指標(biāo)來評估解碼的句子。

結(jié)果顯示，對于一個(gè)1152個(gè)單詞的詞匯表，字符錯(cuò)誤率的中位數(shù)近6.13%，單詞錯(cuò)誤率的中位數(shù)為10.53%。

也就是說，患者想象的這些單詞中，近九成都能一次性準(zhǔn)確表達(dá)。

另外，研究人員還將這一方法推廣到包含9170個(gè)單詞的詞匯表中，字符平均錯(cuò)誤率也僅8.23%。

實(shí)際上，該團(tuán)隊(duì)在去年就搞出了類似的“意念輸出”裝備，當(dāng)時(shí)他們讓開頭這位癱瘓且失語多年的患者成功“說話”，每分鐘能表達(dá)15個(gè)單詞左右。

但當(dāng)時(shí)這個(gè)AI掌握的總詞匯量少得可憐，只有50多個(gè)，且解碼錯(cuò)誤率約為25%。

由此可見，在一年左右的時(shí)間內(nèi)，研究團(tuán)隊(duì)對這個(gè)腦機(jī)接口完成了飛躍式升級。

當(dāng)然，他們也表示，患者目前必須按以預(yù)先設(shè)定的速度來想象字母讀音（比如每2.5秒想象一個(gè)），這樣還不夠靈活。

而且現(xiàn)在的結(jié)果僅限于一個(gè)參與者，該方法效果到底怎么樣，后續(xù)還需要在更多的患者中得到驗(yàn)證。

研究團(tuán)隊(duì)簡介

最后，再來看看本研究背后的團(tuán)隊(duì)：他們來自加利福尼亞大學(xué)舊金山分校（UCSF）韋爾神經(jīng)科學(xué)研究所。

UCSF是加州大學(xué)系統(tǒng)的十所分校之一。

論文的共同一作有3位：Sean L. Metzger，Jessie R. Liu 和 David A. Moses，他們目前均為UCSF的博士研究生。

通訊作者Edward F. Chang教授，現(xiàn)任神經(jīng)外科醫(yī)生兼UCSF神經(jīng)外科系主任。

Chang教授博士畢業(yè)于UCSF，后曾到UC伯克利從事認(rèn)知神經(jīng)科學(xué)的博士后研究。

他的重點(diǎn)研究方向?yàn)檎Z言、運(yùn)動和人類情感的大腦機(jī)制，希望能借此幫助癱瘓和語言障礙患者恢復(fù)一定的正常功能。

論文地址：
https://www.nature.com/articles/s41467-022-33611-3
參考鏈接：
[1]https://www.youtube.com/watch?v=RRX0j32ABSU
[2]https://bigthink.com/neuropsych/brain-implant-letters-paralyzed-speak/
[3]https://www.nature.com/articles/s41586-021-03506-2