“意念打字”新方法：每分鐘能寫近30個字母，錯誤率僅6.13% | Nature子刊
Alex 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
頭戴特殊裝備，然后就能在屏幕上展示出自己的想法。
——沒錯，這位無法說話的癱瘓者正在“意念回復(fù)”ing……
他在腦中默讀字母的“代號”*，平均約2秒鐘就可以輸出一個字母，最終平均字符錯誤率僅6.13%。
研究者表示，這種腦機接口堪稱截癱和漸凍癥患者的福音：
從大腦活動中解碼語音來幫患者“說話”，是一種非常有潛力的新方案！
去年，斯坦大學(xué)研究團隊也給一位癱瘓且無法說話的老爺子植入了腦機接口，成果還登上了Nature封面。
雖然準(zhǔn)確率超過了99%，但他們用的另一種方式：讓患者在腦中“手寫”字母。
而現(xiàn)在這個用腦機接口來讀取大腦中“語音”的團隊，來自加利福尼亞大學(xué)舊金山分校（UCSF）。
最近，他們的相關(guān)論文登上了Nature Communications。
下面就來看看這群研究者具體是如何操作的。
植入腦機接口，讀取大腦“語音”
植入患者頭部的設(shè)備如下：
一組高密度的電極，即128通道皮質(zhì)電圖（ECoG）陣列；另外還有一個經(jīng)皮連接器，用來連接植入設(shè)備和外部系統(tǒng)。
其實早2019年，這些設(shè)備就被植入到該患者的頭部。幾年過去了，目前沒有任何手術(shù)并發(fā)癥。
在拼寫測試正式開始前，是數(shù)據(jù)的收集和預(yù)處理。
研究人員通過植入的ECoG陣列以及外部計算機系統(tǒng)，來提取并分析患者神經(jīng)特征，包括高伽馬活動（High-gamma activity，HGA）和低頻信號（ Low-frequency signal，LFS）等。
其中，高伽馬活動是判斷成年人認知功能的重要指標(biāo)；而分析低頻振蕩則有助于判斷大腦中想象的語音以及腦損傷程度。
為了提高數(shù)據(jù)質(zhì)量，研究者使用濾波器對所得數(shù)據(jù)進行了降噪處理。
研究者由這些數(shù)據(jù)得出，雖然患者癱瘓且無法說話，但他的腦子基本正常。
下面，拼寫試驗正式開始——首先，患者在大腦中默念一個單詞來自動喚醒AI。
然后根據(jù)屏幕上顯示出的問題，在腦子中按字母作答，并根據(jù)提示每2秒左右想象一個字母。
不過他在腦中默念的并非每個字母本身讀音，而是其NATO代碼（比如α代替a，β代替b）。
因為NATO代碼比字母本身發(fā)音更長、更多變，按理來說應(yīng)該更容易被辨別。
為了證明默念NATO代碼發(fā)音確實比字母本身發(fā)音效果更好，研究人員還專門做了對比實驗。
結(jié)果顯示，默讀NATO代碼時，大腦神經(jīng)的活動整體差異性真的比讀字母原發(fā)音明顯，并且總體識別準(zhǔn)確率也更高。
在患者“意念輸出”的同時，基于RNN的字母分類模型會處理每一個神經(jīng)時間窗。
研究者設(shè)計了單詞錯誤率（WER）、字符錯誤率（CER）、每分鐘單詞數(shù)（WPM）等指標(biāo)來評估解碼的句子。
結(jié)果顯示，對于一個1152個單詞的詞匯表，字符錯誤率的中位數(shù)近6.13%，單詞錯誤率的中位數(shù)為10.53%。
也就是說，患者想象的這些單詞中，近九成都能一次性準(zhǔn)確表達。
另外，研究人員還將這一方法推廣到包含9170個單詞的詞匯表中，字符平均錯誤率也僅8.23%。
實際上，該團隊在去年就搞出了類似的“意念輸出”裝備，當(dāng)時他們讓開頭這位癱瘓且失語多年的患者成功“說話”，每分鐘能表達15個單詞左右。
但當(dāng)時這個AI掌握的總詞匯量少得可憐，只有50多個，且解碼錯誤率約為25%。
由此可見，在一年左右的時間內(nèi)，研究團隊對這個腦機接口完成了飛躍式升級。
當(dāng)然，他們也表示，患者目前必須按以預(yù)先設(shè)定的速度來想象字母讀音（比如每2.5秒想象一個），這樣還不夠靈活。
而且現(xiàn)在的結(jié)果僅限于一個參與者，該方法效果到底怎么樣，后續(xù)還需要在更多的患者中得到驗證。
研究團隊簡介
最后，再來看看本研究背后的團隊：他們來自加利福尼亞大學(xué)舊金山分校（UCSF）韋爾神經(jīng)科學(xué)研究所。
UCSF是加州大學(xué)系統(tǒng)的十所分校之一。
論文的共同一作有3位：Sean L. Metzger，Jessie R. Liu 和 David A. Moses，他們目前均為UCSF的博士研究生。
通訊作者Edward F. Chang教授，現(xiàn)任神經(jīng)外科醫(yī)生兼UCSF神經(jīng)外科系主任。
Chang教授博士畢業(yè)于UCSF，后曾到UC伯克利從事認知神經(jīng)科學(xué)的博士后研究。
他的重點研究方向為語言、運動和人類情感的大腦機制，希望能借此幫助癱瘓和語言障礙患者恢復(fù)一定的正常功能。
論文地址：
https://www.nature.com/articles/s41467-022-33611-3
參考鏈接：
[1]https://www.youtube.com/watch?v=RRX0j32ABSU
[2]https://bigthink.com/neuropsych/brain-implant-letters-paralyzed-speak/
[3]https://www.nature.com/articles/s41586-021-03506-2
