特斯拉大半夜「見鬼」！空無一人的路上，它卻看見「幽靈」秒剎車

金磊 賈浩楠 發(fā)自 凹非寺

量子位 報道 | 公眾號 QbitAI

講個「鬼故事」：

夜深人靜，一輛特斯拉Model X在空無一人的公路上行駛著。 瞬間！它看到了「人類看不見的東西」，于是便剎車在路上停了下來……

來感受一下這種feel。

而這輛特斯拉停車的原因，竟然是因為它看到了「幽靈」?。

坐在自動駕駛車上，大半夜的又遇上這種事情，可以想象駕駛員的心理陰影了。

……

但實際上，其實特斯拉看到的并非是「不干凈的東西」，而是被稱作「幽靈」（Phantom）的一種攻擊自動駕駛輔助系統(tǒng)（ADAS）的圖像——摻雜在路邊廣告牌視頻中。

這種圖像出現(xiàn)的時長極短，可以用一瞬間來形容。

人類駕駛員往往不會注意到，但對于自動駕駛系統(tǒng)，卻成為「強有力的停車信號」。

也千萬不要小瞧這種攻擊，它給自動駕駛車輛和人類帶來的后果，或許要比這個「鬼故事」還要恐怖。

隱藏在廣告牌中的「幽靈攻擊」

在這個案例中，「幽靈攻擊」是隱藏在路邊廣告牌的視頻中。

當(dāng)時，視頻中的內(nèi)容是這樣的。

看似是美味的漢堡包廣告，但播放期間摻雜了一張「幽靈攻擊」圖像，這就是「鬼故事」的罪魁禍?zhǔn)住?strong>0.42秒的停車路標(biāo)。

人類駕駛員大概率在行駛過程中，不會過分關(guān)注路邊廣告牌的視頻內(nèi)容；即使看到了這一閃而過的圖像，也基本會認(rèn)為是個bug。

但自動駕駛系統(tǒng)就不同了，頂著那么多雷達(dá)和攝像頭，時時刻刻「眼觀六路」。

于是，搭載特斯拉HW3的Model X，便采納了這一瞬間停車路標(biāo)的「建議」。

可能你會說，特斯拉Model X或許是個例。

別急，「幽靈攻擊」還在Mobileye 630 Pro系統(tǒng)做了實驗。

這次隱藏在視頻中的內(nèi)容是這樣的。

此次的「幽靈攻擊」是一張僅閃現(xiàn)0.125秒的「90英里/小時」路標(biāo)。

于是，搭載Mobileye 630 Pro的車輛，在「看到」這個視頻后，速度就真的控制在了90……

「幽靈攻擊」都是這種一閃而過的圖像嗎？

不不不。

在路上投影個圖像，也是可以的。

這一次，「幽靈攻擊」不再是轉(zhuǎn)瞬即逝，而是一直好好的「躺」在那里。

然后搭載HW2.5的特斯拉，就把圖像檢測成了「人」，車速從18英里/小時，降到了14英里/小時。

來看下AI眼中的世界：

安全，一直是自動駕駛領(lǐng)域十分關(guān)注的問題，也是必須要保障的一個點。

但為什么如此簡單的圖像攻擊，就能把這些可以說最先進的自動駕駛系統(tǒng)，秒秒鐘給忽悠「瘸」了呢？

「幽靈攻擊」背后原理

其實，攻擊自動駕駛輔助系統(tǒng)的手段再簡單不過了，根本不涉及黑進特斯拉或Mobileye的系統(tǒng)。

算法的錯誤操作，也絕不是代碼執(zhí)行效果不佳的結(jié)果。

它們不是典型的功能性缺陷（如緩沖區(qū)溢出、SQL注入），可以通過添加 “if “語句輕松修補。

這種現(xiàn)象反映了模型對于目標(biāo)檢測的基本缺陷，即它們沒法分辨目標(biāo)的真假。

簡單的辦法攻擊是直接使用投影儀，在車輛行進線的道路上投射出一個物體，可影像以是行人、汽車、交通標(biāo)致等等。

第二種方法，是在路邊的廣告牌上顯示出某些干擾信息，比如限速、轉(zhuǎn)彎等。

這些干擾信息的持續(xù)時間不用很長，只需要幾百毫秒的時間，就足以讓號稱最先進的特斯拉Autopilot作出錯誤反應(yīng)。

研究人員分別測試了Autopilot系統(tǒng)和Mobileye面對干擾持續(xù)時間出錯的概率：

可以看出來，干擾持續(xù)時間超過0.4秒，兩個系統(tǒng)100%會出現(xiàn)問題。

Moblieye的反應(yīng)更是比特斯拉自動駕駛靈敏的多，幾乎對任何細(xì)微的干擾都會有反應(yīng)。

特斯拉反應(yīng)慢半拍，在這種攻擊下卻意外起到了「正面作用」。

如何解決這個問題？

研究人員提出了GhostBuster，意思是「捉鬼小分隊」。

「分隊」表示這套系統(tǒng)不止一個神經(jīng)網(wǎng)絡(luò)，團隊在整個「捉鬼」行動中設(shè)置了5層不同的深度神經(jīng)網(wǎng)絡(luò)。

其中，核心的四個輕量級深度CNN，通過檢查物體的反射光、上下文、物體的表面和形狀深度來評估物體的真實性和可靠性。

第五個模型使用前四個模型的結(jié)果給出最終判斷。

這套5個不同神經(jīng)網(wǎng)絡(luò)構(gòu)成的系統(tǒng)在測試中取得了不錯的成績，在閾值設(shè)置為零的情況下，AUC超過0.99（ROC曲線下面積），TPR為0.994（真陽性比率）。

使用了GhostBuster的帶有七個傳感器的自動駕駛系統(tǒng)，攻擊成功率從之前的99.7-81.2%降低到0.01%。

單看實驗結(jié)果，這套系統(tǒng)效果十分好，但是研究人員也指出了它的不足，因為這套系統(tǒng)只針對純視覺的自動駕駛方案，而激光雷達(dá)的案例未考慮在內(nèi)。

而對于特斯拉這種純視覺方案來說，一旦系統(tǒng)認(rèn)定“非障礙”，其他攝像頭探測結(jié)果都會被忽略，形成嚴(yán)重安全隱患。

特斯拉自動駕駛方案的局限

其實，對激光雷達(dá)有所了解的讀者，應(yīng)該會質(zhì)疑這項研究的有效性。

因為，激光雷達(dá)是不受視覺圖像干擾的。

團隊也承認(rèn)一般采用混合方案的自動駕駛系統(tǒng)基本能解決這個問題。

但，路上確實也存在想像特斯拉這樣純視覺方案的車不是？

這項研究揭示的自動駕駛模型本身的缺陷，大大降低了不法之徒攻擊的難度和成本。

由于不涉及算法底層代碼，幽靈攻擊甚至不要求任何專業(yè)知識，也不要復(fù)雜的前期調(diào)查準(zhǔn)備，花幾百美元買個投影儀或者無人機就能實現(xiàn)。

而且在攻擊時，不需要人員靠近現(xiàn)場，完成后也能迅速撤離，難以留下證據(jù)。

低成本的犯罪手段，造成的后果輕則交通擁堵，重則車毀人亡。

科技媒體Wired已經(jīng)就這個問題聯(lián)系了特斯拉和Mobileye，但是雙方均未回應(yīng)。

研究團隊

這次「幽靈攻擊」的實施者，是來自以色列本·古里安大學(xué)和美國佐治亞理工學(xué)院的研究人員。

△Ben Nassi

Ben Nassi是本·古里安大學(xué)的一名博士生，之前也曾在谷歌工作過一段時間。感興趣的研究領(lǐng)域包括網(wǎng)絡(luò)安全和物聯(lián)網(wǎng)設(shè)備。

目前他在Cyber@BGU實驗室工作，從事無人機、智能灌溉系統(tǒng)和可穿戴技術(shù)等課題的研究。

△Yisroel Mirsky

Yisroel Mirsky是佐治亞理工學(xué)院博士后研究員，同時也是以色列BGU網(wǎng)絡(luò)安全研究中心的高級網(wǎng)絡(luò)安全研究員。

他的主要研究方向包括在線異常檢測、對抗性機器學(xué)習(xí)、區(qū)塊鏈等。

而這并不是他們第一次攻擊自動駕駛輔助系統(tǒng)。

今年早些時候，他們便用投影技術(shù)，在夜間的道路和路邊的樹上，投影出人和路標(biāo)等圖像，成功「忽悠」了搭載HW2.5的特斯拉Model X和搭載Mobileye 630設(shè)備的車輛。

而這一次的實驗，是「幽靈攻擊」的升級版，不再是長時間的將攻擊圖案放在可監(jiān)測的位置，而是只讓它們出現(xiàn)一瞬間，也同樣達(dá)到了攻擊的目的。

當(dāng)然，他們也不是第一個做類似「幽靈攻擊」的實驗人員。

早在2016年，來自浙江大學(xué)、南卡羅來納大學(xué)的研究人員，便利用無線電、聲波和發(fā)光設(shè)備來欺騙甚至隱藏物體，讓特斯拉的傳感器無法發(fā)現(xiàn)它們。

當(dāng)然，在真實生活中，類似是攻擊、欺騙事件也是時有發(fā)生。

例如國外網(wǎng)友在駕駛特斯拉過程中，發(fā)現(xiàn)自動駕駛系統(tǒng)，竟然把雨天車輛尾燈在路上的反射光，識別成了路障。

還有今年6月，特斯拉Model 3在高速公路上，直接撞上了橫躺的大貨車……

那么，如果你是智能車的車主，是否遇到過諸如此類的「恐怖事件」？

歡迎在評論區(qū)分享你的故事。

參考鏈接：

論文地址：?https://ad447342-c927-414a-bbae-d287bde39ced.filesusr.com/ugd/a53494_04b5dd9e38d540bc863cc8fde2ebf916.pdf

相關(guān)報道：

https://www.wired.com/story/tesla-model-x-autopilot-phantom-images/