袖口里的“超能力”：Facebook腕帶式AR傳感器，可隔空打字、操控界面，LeCun點(diǎn)贊

子豪 2021-03-21 13:15:39 來(lái)源：量子位

子豪 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

只需動(dòng)動(dòng)手，就能「掌」控一切？

Facebook最近公布的腕帶式的AR傳感器，讓你在虛擬世界get緋紅女巫同款技能。

這一設(shè)備由Facebook的AR/VR研究部門(mén)——Facebook Reality Labs（FRL）研發(fā)，佩戴者可以通過(guò)手腕上的電運(yùn)動(dòng)神經(jīng)信號(hào)，以手指動(dòng)作控制AR眼鏡。

就連被稱為卷積網(wǎng)絡(luò)之父的圖靈獎(jiǎng)獲得者、Facebook首席AI科學(xué)家Yann LeCun也為之點(diǎn)贊。

功能不斷升級(jí)

那么，它能用來(lái)做什么呢？

據(jù)官方介紹，無(wú)論是走在路上還是坐著，把手放在身前、兩側(cè)或是口袋里，都可以通過(guò)腕帶實(shí)現(xiàn)操控。

最初，腕帶只能通過(guò)拇指與食指的捏、放手勢(shì)，實(shí)現(xiàn)簡(jiǎn)單的單擊操作。而后，又添加了更為豐富的控制功能，比如可以觸摸和移動(dòng)虛擬對(duì)象。

除此之外，研究團(tuán)隊(duì)還在進(jìn)一步探索，力圖開(kāi)發(fā)在桌子或膝上高速打字的功能，甚至實(shí)現(xiàn)比使用鍵盤(pán)更快的打字速度。

與物理鍵盤(pán)相比，虛擬鍵盤(pán)不僅可以隨時(shí)使用，而且能夠隨著時(shí)間推移，學(xué)習(xí)和適應(yīng)每個(gè)人不同的打字風(fēng)格，并產(chǎn)生適應(yīng)性的變化，實(shí)現(xiàn)更快的打字速度。

FRL團(tuán)隊(duì)在個(gè)性化模型方面取得了重要進(jìn)展，使適應(yīng)個(gè)人風(fēng)格的鍵盤(pán)模型的訓(xùn)練時(shí)間得以減少。

不僅如此，F(xiàn)RL研究科學(xué)主管Hrvoje Benko表示：

“我們相信，可穿戴的腕帶設(shè)備可以為AR眼鏡，提供超低摩擦、隨時(shí)可用的輸入，但它們本身并不是一個(gè)完整的解決方案。

就像鼠標(biāo)是用戶界面的一部分一樣，需要在意圖預(yù)測(cè)和用戶建模方面為他們提供幫助，以實(shí)時(shí)適應(yīng)用戶以及特定的環(huán)境?！?/p>

因此，F(xiàn)RL團(tuán)隊(duì)近期正致力于，探索適應(yīng)特定環(huán)境的自適應(yīng)界面，實(shí)現(xiàn)“智能點(diǎn)擊”。

也就是，無(wú)需用戶移動(dòng)視線、瀏覽菜單，系統(tǒng)通過(guò)在不同環(huán)境中預(yù)測(cè)用戶意圖，主動(dòng)提供自適應(yīng)界面，而用戶只需輕量級(jí)的反饋，就可以進(jìn)行控制。

FRL研究科學(xué)經(jīng)理Tanya Jonker也補(bǔ)充道：

“系統(tǒng)會(huì)學(xué)習(xí)有用戶位置和關(guān)鍵對(duì)象的信息，例如跑鞋或活動(dòng)識(shí)別，根據(jù)用戶過(guò)去的行為預(yù)測(cè)意圖。

比如，往常你穿著某一雙鞋出門(mén)時(shí)，通常會(huì)啟動(dòng)音樂(lè)程序。那么當(dāng)你再次穿上它出門(mén)，系統(tǒng)認(rèn)為你最有可能想要收聽(tīng)音樂(lè)，于是顯示屏上會(huì)出現(xiàn)‘是否播放音樂(lè)？’選項(xiàng)，用戶使用簡(jiǎn)單的手勢(shì)確認(rèn)或更改建議即可?！?/p>

利用這些微手勢(shì)，用戶無(wú)需停止正在做的事，或是為其分心，從而節(jié)省了時(shí)間。

Facebook官方介紹中也提到，實(shí)現(xiàn)這一功能，需要應(yīng)用機(jī)器學(xué)習(xí)、人機(jī)交互、用戶界面設(shè)計(jì)等技術(shù)，目前仍存在許多技術(shù)挑戰(zhàn)。

雖然利用超低摩擦的輸入方式，能夠?qū)崿F(xiàn)與自適應(yīng)界面的交互，但是要想對(duì)虛擬物體有所感知，還需要觸覺(jué)技術(shù)。

對(duì)此，F(xiàn)RL研究科學(xué)總監(jiān)Sean Keller表示：

“人們從出生時(shí)的第一次抓握，直到靈巧地操作物體和在鍵盤(pán)上打字，手和手指會(huì)擁有非常豐富的反饋。

我們利用觸覺(jué)信號(hào)來(lái)了解世界，觸覺(jué)使我們能夠使用工具和精細(xì)控制。從使用手術(shù)刀的外科醫(yī)生到感覺(jué)到琴鍵邊緣的鋼琴演奏家，這一切都取決于觸覺(jué)?！?/p>

利用腕帶，用戶無(wú)需進(jìn)行查看，就能夠通過(guò)觸覺(jué)作出識(shí)別，并進(jìn)行決策。比如：

虛擬弓箭就利用腕部的觸覺(jué)，使佩戴者有近似拉弓的感覺(jué)，從而知道自己是否做對(duì)了動(dòng)作；

根據(jù)用戶設(shè)置，收到緊急郵件時(shí)，手環(huán)能發(fā)出比收到普通郵件更為強(qiáng)烈的震動(dòng)；

當(dāng)有電話呼入時(shí)，通過(guò)不同的觸覺(jué)反饋，用戶即可得知對(duì)方的身份。

甚至，研究人員還補(bǔ)充說(shuō)：“觸覺(jué)還能夠傳達(dá)不同的情感，這可能是改善社交溝通的一種新的方式?！?/p>

目前，F(xiàn)acebook團(tuán)隊(duì)正在構(gòu)建研究原型，包括擁有8個(gè)氣動(dòng)波紋管的Bellowband，以及使用了6個(gè)震動(dòng)觸動(dòng)器和新穎的手腕擠壓機(jī)制的Tasbi，以進(jìn)一步探索的觸覺(jué)反饋的類型。

利用EMG技術(shù)實(shí)現(xiàn)控制

這些功能，都是依賴EMG（肌電圖）技術(shù)實(shí)現(xiàn)的。

EMG技術(shù)，就是使用傳感器，將通過(guò)手腕傳到手部的電運(yùn)動(dòng)神經(jīng)信號(hào)，轉(zhuǎn)化為數(shù)字指令。用戶可以用這些指令來(lái)控制設(shè)備的功能，這種控制程度是高度個(gè)性化的，可以用于多種情況。

據(jù)Facebook介紹，通過(guò)手腕發(fā)出的信號(hào)非常清晰，哪怕是一毫米的手指運(yùn)動(dòng)，EMG也可以感知，因此可以毫不費(fèi)力地輸入。甚至在未來(lái)，連移動(dòng)手指的意圖也可能感知到。

現(xiàn)任神經(jīng)運(yùn)動(dòng)接口主管的Thomas Reardon表示：

“我們要做的神經(jīng)界面，就是讓用戶利用周圍神經(jīng)系統(tǒng)的輸出，特別是腦外神經(jīng)，激活手和手指肌肉的動(dòng)作，來(lái)直接控制機(jī)器?！?/p>

為什么要選擇手腕？

FRL團(tuán)隊(duì)對(duì)此作了解釋：

手是人們接觸世界的重要身體部分，戴在手腕上能夠利用手部豐富的控制功能，實(shí)現(xiàn)更好的交互功能。

與語(yǔ)音控制相比，穿戴設(shè)備更便于在公共場(chǎng)合使用；

類似手表的設(shè)計(jì)使其能夠用于日常生活和社交環(huán)境；

并且，手腕位置也適合舒適地佩戴一整天；

而設(shè)計(jì)成一款單獨(dú)的設(shè)備，能夠?qū)崿F(xiàn)更便捷的應(yīng)用，無(wú)需通過(guò)手機(jī)或是其他設(shè)備控制；

置于手腕的可穿戴設(shè)備還可以輕松地作為計(jì)算、電池和天線的平臺(tái)，同時(shí)支持多種傳感器。

網(wǎng)友關(guān)注

這項(xiàng)獲得LeCun點(diǎn)贊的技術(shù)，自然也引起了網(wǎng)友的廣泛關(guān)注。

不少網(wǎng)友為此感到驚喜：

“這是實(shí)際的延遲效果嗎？看起來(lái)很棒?！?/p>

還有一些網(wǎng)友，對(duì)這項(xiàng)技術(shù)的應(yīng)用提出了設(shè)想：

“這可以讓失去手的人，仍然能依靠神經(jīng)來(lái)模擬手勢(shì)，不是嗎?”

“毫無(wú)疑問(wèn)，這可以用于連接假肢，并且推進(jìn)恢復(fù)和學(xué)習(xí)過(guò)程?！?/p>

不過(guò)，有人提出了質(zhì)疑：

“什么？這不是很多年以前的MYO手環(huán)嗎？”

事實(shí)上，這款基于EMG技術(shù)的腕帶的雛形MYO，最初由AR眼鏡公司North的前身Thalmic Labs開(kāi)發(fā)，而后其專利被初創(chuàng)公司CTRL-labs收購(gòu)。

2019年，F(xiàn)acebook斥資數(shù)億美元收購(gòu)了CTRL-labs，原研究團(tuán)隊(duì)也隨之加入FRL。

與此同時(shí)，也有網(wǎng)友對(duì)此感到欣喜：

“早在幾年前，當(dāng)我第一次閱讀有關(guān)Myo的文章時(shí)，我就想知道它對(duì)于VR的潛力。很高興它取得現(xiàn)在的成果?！?/p>

這款手環(huán)主要用于配合Facebook正在研發(fā)的AR眼鏡使用，上市時(shí)間尚未公布。

參考鏈接：
[1]https://tech.fb.com/inside-facebook-reality-labs-wrist-based-interaction-for-the-next-computing-platform/
[2]https://twitter.com/schrep/status/1372568994738180098