腦波直接轉(zhuǎn)語音，不開口每分鐘“說”出150詞：Nature發(fā)表腦機(jī)接口新突破
腦電波直接轉(zhuǎn)語音，每分鐘“說”出150詞
魚羊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
只要靜靜坐著，世界就能聽到你的聲音，這樣的畫面你可曾想象過？
是的，不必動(dòng)手，也不必開口，只要你的腦波流轉(zhuǎn)，AI就能以每分鐘150個(gè)詞的速度幫你說出心聲。
Nature上最新發(fā)表了一篇論文，科學(xué)家們?cè)O(shè)計(jì)了一種新的可以將大腦信號(hào)轉(zhuǎn)換成語言的裝置，不需要?jiǎng)趧?dòng)任何一塊肌肉，深度學(xué)習(xí)就能直接讀懂大腦，解碼腦中所想，實(shí)現(xiàn)流暢交流。
△受漸凍癥折磨的霍金后期依靠活動(dòng)臉頰上的一塊肌肉來打字
如何做到
研究團(tuán)隊(duì)來自加州大學(xué)舊金山分校，神經(jīng)外科教授Dr. Edward Chang等人試圖將大腦中的神經(jīng)活動(dòng)轉(zhuǎn)換成語音，以造福因?yàn)樯窠?jīng)損傷而失去交流能力的人。
說話這件事其實(shí)并沒有想象中那么簡單，看似只是動(dòng)動(dòng)嘴，事實(shí)上卻是對(duì)聲道咬合結(jié)構(gòu)精準(zhǔn)、快速的多維度控制。
研究人員選擇了深度學(xué)習(xí)方法。
為了進(jìn)行試驗(yàn)，專家們招募了五名在醫(yī)院接受癲癇治療的志愿者。
神經(jīng)解碼的第一步是從高密度皮層活動(dòng)中提取相關(guān)信號(hào)特征。志愿者們說了上百句話，而通過植入性大腦皮層電圖（ECoG），研究人員可以跟蹤控制語言和發(fā)音的大腦區(qū)域的活動(dòng)，并將這些活動(dòng)與志愿者說話時(shí)嘴唇、舌頭、喉部和下顎的微妙運(yùn)動(dòng)聯(lián)系起來，然后將這些運(yùn)動(dòng)學(xué)特征翻譯成口語句子。
研究人員采用bLSTM（bidi-rectional long short-term memory）循環(huán)神經(jīng)網(wǎng)絡(luò)來破譯ECoG信號(hào)表達(dá)的運(yùn)動(dòng)學(xué)表征。
接著用另外一個(gè)bLSTM解碼先前破譯的運(yùn)動(dòng)學(xué)特征中的聲學(xué)特征。
聲學(xué)特征是能從語音波形中提取的頻譜特征，因此用解碼后的信號(hào)就可以合成出語音波形。
在這個(gè)過程中，兩個(gè)神經(jīng)網(wǎng)絡(luò)都會(huì)被投喂訓(xùn)練數(shù)據(jù)，以提高它們的解碼性能。
對(duì)比志愿者說話的頻譜圖和大腦信號(hào)合成的頻譜圖，可以看到它們已經(jīng)非常接近了。
研究者們讓以英語為母語的人聽了聽合成的語音，結(jié)果表明，至少有70%的虛擬語言是可以被理解的。
有何提高
腦波轉(zhuǎn)語音已經(jīng)不是什么新鮮事了，這篇文章能登上Nature，自是有過人之處。
這個(gè)新的裝置每分鐘能生成 150 個(gè)單詞，接近人類的自然語速。
要知道已有的語音合成腦機(jī)接口每分鐘只能生成 8 個(gè)單詞，使用者也能用它們來表達(dá)自己的意思，但那遠(yuǎn)遠(yuǎn)稱不上是“人類交流”。
想象一下，倘若霍金健在，在這種技術(shù)的幫助下，他可能再也不用艱難地活動(dòng)臉頰上的肌肉來拼出單詞，AI能真正幫助他重新“開口”，傳播智慧。
“這是一項(xiàng)艱巨的工作，它將我們推上了語言恢復(fù)方面的一個(gè)新臺(tái)階。”神經(jīng)學(xué)家Dr. Anthony Ritaccio這樣評(píng)價(jià)。
網(wǎng)友反應(yīng)
論文一出，驚嘆聲一片。
有網(wǎng)友稱贊這是ECoG領(lǐng)域非常有價(jià)值的一個(gè)結(jié)果，并且也給未來的實(shí)際應(yīng)用打開了新的大門：
還有網(wǎng)友已經(jīng)迫不及待地開始暢想未來：
如果將來這項(xiàng)技術(shù)能被放入耳機(jī)這樣的可穿戴設(shè)備，那我們就能以最快的速度在手機(jī)上打字了！這種可能性實(shí)在是鵝妹子嚶！
也有一些負(fù)面的聲音：
我們總有法子讓你開口的。
嗯…不過事實(shí)上這項(xiàng)技術(shù)只會(huì)在你想開口時(shí)捕捉相應(yīng)的腦電波。
必須說明的是，這項(xiàng)技術(shù)使用的ECoG電極陣列需要通過開顱手術(shù)來放置到大腦之中，對(duì)于飽受疾病、意外之害而失去語言能力的患者來說是福音天降，但更大范圍的應(yīng)用還有很長的路要走。
傳送門
論文鏈接：https://www.gwern.net/docs/ai/2019-anumanchipalli.pdf
— 完 —
相關(guān)閱讀
人造胚胎竟成功培育出大腦和心臟！Nature還沒排版就急忙發(fā)表，研究人員：下一步人類胚胎模型
劍橋大學(xué)和加州理工學(xué)院十?dāng)?shù)年研究
清華光學(xué)AI登Nature！物理神經(jīng)網(wǎng)絡(luò)，反向傳播不需要了
用光訓(xùn)練神經(jīng)網(wǎng)絡(luò)
