AR眼鏡語(yǔ)音轉(zhuǎn)文字實(shí)測(cè)！效果像開(kāi)了彈幕，對(duì)話記錄可保存回溯

明敏 2022-12-25 13:19:54 來(lái)源：量子位

明敏 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

AR眼鏡字幕功能效果到底咋樣？

實(shí)測(cè)來(lái)了！

不光語(yǔ)音能實(shí)時(shí)轉(zhuǎn)成文字，還能分辨說(shuō)話人主體，甚至還能把文字記錄都保存好，方便以后回溯。

今年，一家來(lái)自英國(guó)的一家AR初創(chuàng)公司，大開(kāi)了個(gè)腦洞。

他們把語(yǔ)音轉(zhuǎn)文字的功能，搬到了AR眼鏡上，讓轉(zhuǎn)好的文字能快速直接呈現(xiàn)在人們眼前。

主要目的就是為了服務(wù)聽(tīng)障人群。

畢竟在很多情況下，即便有助聽(tīng)器的幫助，聽(tīng)障人群還是需要有文字作為參考信息。

而通過(guò)AR眼鏡的方式，生成字幕能直接呈現(xiàn)在人們眼前，接收信息能更加方便和迅速。

具體效果如何？往下看~

有種開(kāi)彈幕的感覺(jué)

體驗(yàn)的效果大概如下左圖所示，會(huì)有一個(gè)對(duì)話框，里面將標(biāo)注說(shuō)話者及對(duì)應(yīng)語(yǔ)音內(nèi)容。

體驗(yàn)者西蒙·希利（Simon·Hill）說(shuō)，在剛戴上AR眼鏡聽(tīng)對(duì)方說(shuō)話時(shí)，它的文字轉(zhuǎn)錄準(zhǔn)確率非常不錯(cuò)。

效果有點(diǎn)像平常用語(yǔ)音實(shí)時(shí)轉(zhuǎn)文字的功能，在語(yǔ)音結(jié)束前，文本內(nèi)容會(huì)一直有調(diào)整，最后等一段話說(shuō)完，才會(huì)有個(gè)最終版本。

不過(guò)在對(duì)話情景下，兩個(gè)人多聊一會(huì)，語(yǔ)音轉(zhuǎn)寫的速度會(huì)變慢一些。

XRAI內(nèi)部人士表示，這是因?yàn)檎Z(yǔ)音轉(zhuǎn)文字的計(jì)算在云端上進(jìn)行，有延遲很正常。

而且不止是實(shí)時(shí)轉(zhuǎn)錄，這個(gè)功能還支持搜索歷史記錄，在AR眼鏡端和手機(jī)端都能搜，有點(diǎn)聊天軟件那感覺(jué)了。

錄下的語(yǔ)音在轉(zhuǎn)寫完成文字后，就會(huì)被立即刪除，XRAI還強(qiáng)調(diào)這些文本也是只有用戶自己可見(jiàn)。

如果沒(méi)有AR眼鏡，也能在手機(jī)上體驗(yàn)XRAI的功能。

有網(wǎng)友也戴著眼鏡體驗(yàn)了一下，表示這個(gè)功能在轉(zhuǎn)語(yǔ)音的速度上還是很快的，而且在AR界面里的呈現(xiàn)也不錯(cuò)。

缺點(diǎn)是需要選一下要識(shí)別的語(yǔ)言種類，在這里她測(cè)試的是法語(yǔ)。

除此以外，西蒙大哥在體驗(yàn)中，也發(fā)現(xiàn)了一些小問(wèn)題。

比如按照XRAI的設(shè)想，聽(tīng)障人士使用這一功能，需要一副AR眼鏡+一款安卓手機(jī)。

是的，該應(yīng)用暫時(shí)還不支持iOS系統(tǒng)。

而兩臺(tái)設(shè)備加起來(lái)，拿著比較麻煩，尤其是在AR眼鏡重量還沒(méi)有降下來(lái)的情況下，聽(tīng)障人士要戴人工耳蝸、還要戴一副AR眼鏡，舒適度肯定不高。

西蒙表示：

我無(wú)法想象如何整天帶著他們。

以及語(yǔ)音轉(zhuǎn)文字的效果，西蒙也提出了一點(diǎn)質(zhì)疑。他表示，對(duì)于聽(tīng)障人士來(lái)說(shuō)，需要文字作為參考信息的情景，很可能是比較嘈雜的場(chǎng)所，這對(duì)于語(yǔ)音識(shí)別的算法提出一定要求。

而他在體驗(yàn)XRAI這項(xiàng)功能時(shí)，公司CMO特意把他領(lǐng)到了比較安靜的環(huán)境演示，并坦言在嘈雜環(huán)境中的效果還不是很好。

以及在價(jià)格上，XRAI上線的AR眼鏡是Nreal，國(guó)內(nèi)售價(jià)2299元起，海外售價(jià)為379美元。

XRAI的服務(wù)也并不完全免費(fèi)，基礎(chǔ)免費(fèi)版只能保存1天的對(duì)話記錄，另外還有20美元/月、50美元/月兩種套餐可以選擇。

如果選擇50美元/月的套餐，在基礎(chǔ)功能上還將加一個(gè)人工智能助手。

但西蒙表示，作為一個(gè)還在起步階段的產(chǎn)品，有缺點(diǎn)可以理解。

更關(guān)鍵的是，他們從無(wú)障礙的角度出發(fā)想要幫助聽(tīng)障人群，這一想法還是令人感到欣慰。

背后公司XRAI Glass

提供這項(xiàng)服務(wù)的公司來(lái)自英國(guó)，名叫XRAI Glass。

公司CEO為丹·斯卡夫（Dan Scarfe），他曾在高知特微軟業(yè)務(wù)組（Cognizant Microsoft Business Group）擔(dān)任首席問(wèn)題官。

CTO蒂姆·斯卡夫（Tim Scarfe），獲得了機(jī)器學(xué)習(xí)專業(yè)博士學(xué)位，也曾在微軟工作。

按照領(lǐng)英顯示，該公司在今年7月才剛剛成立。

合作的AR眼鏡廠商N(yùn)real于2017年成立，創(chuàng)始人徐馳曾在Magic Leap工作過(guò)。

參考鏈接：
[1]https://www.wired.com/story/xrai-glass-caption-ar-glasses-first-look/
[2]https://www.auganix.org/xrai-glass-launches-its-real-time-augmented-reality-closed-captioning-app-to-users-globally/