糟糕，手機(jī)密碼不保！劍橋大學(xué)新研究，用AI算法“監(jiān)聽”手機(jī)打字，觸摸屏也中招

栗子 安妮 2019-04-02 15:06:29 來源：量子位

栗子 安妮 發(fā)自 凹非寺

量子位 出品 | 公眾號(hào) QbitAI

觸摸屏，也能出賣你的手機(jī)密碼。

手機(jī)的內(nèi)置麥克風(fēng)，搭配AI算法，就能讓輸入的每一個(gè)字無處可逃。

你可能聽不到，但手指每在屏幕上輕輕點(diǎn)一下，都會(huì)發(fā)出一個(gè)聲波。離屏幕不到1厘米遠(yuǎn)的麥克風(fēng)，輕輕松松就能記錄下來。

劍橋大學(xué)的科學(xué)家們，開發(fā)了一只偷聽觸摸屏的AI。它能從細(xì)微的聲音中，還原出人類輸入的信息。

45名志愿者真人測試，數(shù)字、字母，都被AI“偷”了出來。

聲波出賣你

四顧無人時(shí)悄咪咪在觸摸屏上解個(gè)鎖，怎么就被聲波泄露了密碼呢？

“聽到你的觸摸”，這是論文的名字 (完整版：Hearing your touch: A new acoustic side channel on smartphones) 。在這里，研究人員揭秘了“作案思路”，其實(shí)并不難理解。

即使是在觸摸屏上輕悄悄地操作，手指的每一次輕微的敲擊都會(huì)產(chǎn)生聲波。當(dāng)戳擊屏幕不同位置時(shí)，聲波信息也會(huì)有相應(yīng)的變化。

△?觸摸屏上按下“f”鍵時(shí)的聲波震動(dòng)形狀

沒錯(cuò)，關(guān)鍵信息就隱藏在這些形狀不同的聲波里。而這些信息，恰巧可以被手機(jī)內(nèi)置的麥克風(fēng)捕捉到。

研究人員反手開發(fā)了一個(gè)手機(jī)惡意應(yīng)用程序，當(dāng)這個(gè)程序被植入手機(jī)時(shí)，能夠調(diào)動(dòng)內(nèi)置麥克風(fēng)，讓其秘密開始工作，記錄下觸摸時(shí)的聲波信息。

△?實(shí)驗(yàn)所用的惡意聲波收集程序

他們收集了聲波形狀與觸摸位置的對應(yīng)信息，訓(xùn)練出了一個(gè)AI模型，還原輸入內(nèi)容。

至此，作案流程已經(jīng)基本成型：

惡意程序悄悄啟動(dòng)→悄悄捕捉輸入密碼時(shí)的聲波→AI模型預(yù)測手指對應(yīng)在屏幕的位置→還原輸入的密碼和信息。

AI伙同麥克風(fēng)，分工明確，里應(yīng)外合，井然有序地就將你的隱私偷走了。

現(xiàn)場驗(yàn)證

這套程序的效果如何？研究人員找來了45位志愿者，開始了一系列測試。

整套測試的機(jī)型選用了Google旗下的Nexus 5手機(jī)以及Nexus 9平板。前者為2013年首發(fā)，屏幕大小為4.95英寸，后者為2014年發(fā)布，屏幕為8.9英寸。兩款設(shè)備均內(nèi)置2個(gè)麥克風(fēng)。

△?實(shí)驗(yàn)設(shè)備麥克風(fēng)位置示意：左為Nexus 5，右為Nexus 9

為了模擬真實(shí)世界的環(huán)境，研究人員沒有選擇安靜的實(shí)驗(yàn)室，而是選取了3種日常環(huán)境，測試在不同噪音環(huán)境下整個(gè)系統(tǒng)的準(zhǔn)確度：

• 公共休息室：周圍是聊天的人類，偶爾會(huì)出現(xiàn)煮咖啡時(shí)發(fā)出的較大噪音。
• 閱覽室：電腦鍵盤聲與小聲說話聲混合的環(huán)境。
• 圖書館：幾乎沒有說話聲，但電腦鍵盤聲環(huán)繞四周。

研究人員在這三個(gè)環(huán)境中，讓45名志愿者分別進(jìn)行了4組實(shí)驗(yàn)。

第一組志愿者需要隨機(jī)輸入數(shù)字1-9，每個(gè)數(shù)字各輸入10次，第二組需要輸入200組四位數(shù)字的密碼，第三組隨機(jī)輸入字母，第四組需要輸入5個(gè)字母組成的單詞，這些單詞均來自聊天語料庫NPS。

實(shí)驗(yàn)結(jié)果驗(yàn)證了這種攻擊方法可行性。

在20次實(shí)驗(yàn)中，AI能準(zhǔn)確還原150個(gè)四位數(shù)字密碼中的91個(gè)，還原準(zhǔn)確率為61%。

破解字母組成的暗號(hào)也不成問題。用27個(gè)單詞密碼測試時(shí)，只進(jìn)行10次實(shí)驗(yàn)，模型在手機(jī)上破解了7個(gè)單詞，在平板上成功還原出其中的19個(gè)。

就是這樣，你毫無察覺，但密碼不脛而走。

我有許多小mimi，都在聲波里

其實(shí)不用慌，因?yàn)锳I想拿到手機(jī)密碼，也不止這一種方法。

去年9月，英國蘭卡斯特大學(xué)發(fā)表的研究，用手機(jī)揚(yáng)聲器里的聲吶，竊取密碼，特別是圖形密碼。

聲吶的原理是，計(jì)算聲波從發(fā)出到返回之間的時(shí)差，來確定物體的位置，以及物體有沒有移動(dòng)。這項(xiàng)研究里，AI分析麥克風(fēng)錄下的回聲，便可以追蹤用戶手指在智能手機(jī)屏幕上的移動(dòng)軌跡了。

也是在你沒有察覺的時(shí)候，一切就發(fā)生了。

當(dāng)然，上面這些只是手機(jī)上的問題。

如今，從鍵盤到硬盤，哪一個(gè)聽不到你的秘密？

(請注意，這是一句嚴(yán)肅的話，沒有開車。)

就連家里的盆栽，可能也知道你說了什么。

所以，我們一個(gè)一個(gè)講。

聽一下鍵盤先

去年12月，就有個(gè)名叫Keytap的鍵盤竊聽法術(shù)，簡單有效，吸引了大片關(guān)注。

先用麥克風(fēng)采集一下敲擊各種按鍵的聲波，比如每個(gè)鍵收集三次。

再搭個(gè)簡單的預(yù)測模型，算出每個(gè)按鍵的平均波形：

把收集好的聲波的峰值對齊，避免延時(shí)影響；再用相似度指標(biāo) (Similarity Metric) 精細(xì)地對齊波形；對齊之后，做個(gè)簡單加權(quán)平均，就得到平均波形了。

最后，盡情敲鍵盤吧，只要和平均波形比對一下相似度，就能檢測出是哪個(gè)按鍵了。

還有開源代碼，大家可以直接玩耍。

硬盤偷聽，麥克風(fēng)也不用

這是密歇根大學(xué)和浙大學(xué)者腦洞的結(jié)晶。原原本本的機(jī)械硬盤，不加麥克風(fēng)，不做任何硬件改動(dòng)，就變成了竊聽器，且音質(zhì)不俗：

硬盤工作的時(shí)候，主軸高速運(yùn)轉(zhuǎn)帶動(dòng)盤片，上面的磁頭會(huì)感應(yīng)盤片上的磁場變化，通過改變磁場，來寫入數(shù)據(jù)。

這個(gè)過程非常精細(xì)。只要受到外部的聲波沖擊，磁頭就會(huì)發(fā)生偏移。硬盤的位置傳感器，產(chǎn)生的電壓信號(hào)里就會(huì)體現(xiàn)出這個(gè)偏移。

讓AI去分析這細(xì)小的偏移，科學(xué)家們還原了人類說的話，又還原了高保真的音樂，Shazam的聽歌識(shí)曲也能答對歌名。

畢竟，硬盤的采樣率超過30,000赫茲，幾乎是CD級(jí)的錄音質(zhì)量。

薯片，不只是清脆

優(yōu)雅的聲音，可能是吃薯片最大的快感。

但偷聽人類說話，科學(xué)家們不是靠薯片碎裂發(fā)出的聲波，而是在視覺上動(dòng)了心思。

MIT、微軟和Adobe組成的混合團(tuán)隊(duì)，用高速相機(jī)透過隔音玻璃，拍攝出薯片袋的振動(dòng)，算法便能判斷說話的人是男是女，甚至還原講話的內(nèi)容。

研究人員說，聲音傳播時(shí)觸碰到周圍的物體，會(huì)在振動(dòng)中形成一股微妙的視覺信號(hào)，肉眼不會(huì)發(fā)覺，但高速相機(jī)（每秒2000~6000幀）捕捉得到。AI分析視覺信號(hào)，便能聽出人類的談話了。

而且，不止薯片袋，鋁箔、水杯甚至植物盆栽，都可以用來偷聽。這些物件在房間里出現(xiàn)，人類又絲毫不會(huì)覺得奇怪，真是得天獨(dú)厚。

這項(xiàng)研究，中選了頂會(huì)SIGGRAPH 2014。

如此說來，或許世間萬物，都知道你的秘密。

不過還好，這些方法還在研究階段。

傳送門

這篇論文的研究人員共有四位，分別為劍橋大學(xué)的Ilia Shumailov、Jeff Yan、Ross Anderson及三星美國研究院Laurent Simon。

論文Hearing your touch: A new acoustic side channel on smartphones地址：

https://arxiv.org/abs/1903.11137

—?完?—

誠摯招聘

量子位正在招募編輯/記者，工作地點(diǎn)在北京中關(guān)村。期待有才氣、有熱情的同學(xué)加入我們！相關(guān)細(xì)節(jié)，請?jiān)诹孔游还娞?hào)(QbitAI)對話界面，回復(fù)“招聘”兩個(gè)字。

量子位?QbitAI · 頭條號(hào)簽約作者

?’?’ ? 追蹤AI技術(shù)和產(chǎn)品新動(dòng)態(tài)