清華可穿戴智能喉登Nature子刊，實(shí)測準(zhǔn)確率90%+，網(wǎng)友：@李雪健老師
加個(gè)音色過濾器是不是就能當(dāng)變聲器了？
豐色 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
將一塊僅硬幣大小的圓片，貼在喉嚨處，嗓子有問題的人就可以重獲新“聲”了。
這是清華大學(xué)發(fā)表在Nature子刊上的最新研究成果，一個(gè)用石墨烯材料做成的可穿戴喉嚨。
△ Nature Machine Intelligence（自然·機(jī)器智能）
它可以準(zhǔn)確識別到佩戴者喉嚨處的細(xì)微振動以及模糊的話語，然后將之合成為正常的語音，平均識別準(zhǔn)確率高達(dá)99.05%。
據(jù)稱，這款設(shè)備在噪音非常大的地方也好使。
如此一來，那些不能正常發(fā)聲的人，包括喉切除患者、臨時(shí)嗓子發(fā)炎者、長時(shí)間講課的老師、在嘈雜環(huán)境工作但需要交流的人等，都有救了。
當(dāng)然，還有不少人直接cue起了李雪健老師。
清華可穿戴智能喉，患者實(shí)測準(zhǔn)確率91%
要說幫喉嚨有問題的人解決交流問題，科學(xué)家早就在研究了。
不過此前的一些方案由于帶有一系列外設(shè)或者多通道電極，通常具有侵入性且不夠便攜。
要解決這倆問題，需要感應(yīng)器足夠靈敏且小巧，在外部就能使用。
還需要足夠貼合皮膚。
因?yàn)槔碚撋?，喉部的振動反映的是聲帶以及相關(guān)肌肉群的運(yùn)動。
一些聲帶發(fā)聲有障礙的人，可能會訓(xùn)練食管發(fā)聲，因此，需要柔性傳感器來保持對皮膚的貼合從而照顧到這一部位。
好在，有這么一種東西可以滿足這些需要。
它就是用柔性激光直寫（laser-scribed）石墨烯（LSG）制成的機(jī)械傳感器，專門用于身體表面。
不過，由于不確定這種設(shè)備對低頻肌肉運(yùn)動和傳遞到皮膚表面的聲音振動是否敏感，作者團(tuán)隊(duì)對它的蜂窩狀微觀結(jié)構(gòu)進(jìn)行了優(yōu)化。
最終，它可以做到在>1000次的彎曲測試后仍表現(xiàn)出均勻穩(wěn)定的靈敏度，準(zhǔn)確識別出頻率范圍在100–20kHz之間的振動信息。
由于LSG薄膜具有導(dǎo)電性和導(dǎo)熱性，這種設(shè)備也可以通過熱聲效應(yīng)產(chǎn)生聲音。在聲音發(fā)射穩(wěn)定性的實(shí)驗(yàn)中，作者證明它可以做到連續(xù)三小時(shí)都保持穩(wěn)定。
下面是這款可穿戴智能喉的工作流程：
首先，設(shè)備將收集到的振動信息編碼為標(biāo)準(zhǔn)脈沖編碼調(diào)制（PCM）信號。
然后通過快速傅里葉變換（FFT）生成相應(yīng)的頻譜圖。
接著通過模型進(jìn)行外部處理和識別，將檢測到的多模態(tài)信號轉(zhuǎn)換為相應(yīng)的語音。
最后通過熱聲效應(yīng)驅(qū)動設(shè)備發(fā)聲，幫助佩戴者完成交流。
實(shí)驗(yàn)表明，這款設(shè)備對音素、音調(diào)以及單詞的識別準(zhǔn)確率平均達(dá)到了99.05%。
下圖則顯示了設(shè)備在不同強(qiáng)度（dB）噪音下的識別精度。
可以看到，它在環(huán)境噪聲超過60dB的情況下，也能保持識別能力，抗噪能力遠(yuǎn)遠(yuǎn)優(yōu)于麥克風(fēng)。
“Talk is cheap”，作者也進(jìn)行了實(shí)戰(zhàn)測試。
他們找來一位完成了喉切除（非全切）手術(shù)的志愿者，檢測六個(gè)日常短句的識別情況。
從頻譜圖可以看出，可穿戴智能喉可以感知患者喉嚨的發(fā)聲振動。
不過由于發(fā)聲器官不完整，患者有時(shí)會在說話時(shí)吞咽聲音。不過微調(diào)模型仍然能夠從信號中提取足夠的信息，將識別準(zhǔn)確率做到81.25%。
接著，他們又對用到的單個(gè)AlexNet模型進(jìn)行了優(yōu)化（Alex Net+ReliefF+SVM），最終實(shí)現(xiàn)了91%的識別精度。
總的來說，由于制造工藝可行、靈敏度高、性能穩(wěn)定、抗噪能力強(qiáng)以及集成了發(fā)聲能力，作者認(rèn)為，這款可穿戴喉嚨可以成為下一代語音識別和交互系統(tǒng)的理想工具。
而網(wǎng)友們也腦洞大開：
有讓加個(gè)音色調(diào)節(jié)的過濾器，變成可穿戴變聲器的；
也有說來個(gè)實(shí)時(shí)翻譯，就讓人直接擁有說多種語言的能力的。
你覺得還有哪些妙用？
論文地址：
https://www.nature.com/articles/s42256-023-00616-6
參考鏈接：
https://weibo.com/1231317854/MwsEvkugi?refer_flag=1001030103_
相關(guān)閱讀
