路上鋪個(gè)“補(bǔ)丁”，智能汽車高速途中瞬間失控！應(yīng)用最廣自動(dòng)駕駛技術(shù)被曝漏洞 | 字節(jié)跳動(dòng)參與的新研究

乾明 十三 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

汽車越來(lái)越智能，越來(lái)越方便，但也帶來(lái)新安全隱患。

車道保持輔助系統(tǒng)，即LKAS，之前以L2自動(dòng)駕駛核心功能為賣(mài)點(diǎn)，開(kāi)長(zhǎng)途、開(kāi)高速環(huán)路，都能讓人類司機(jī)更輕松，現(xiàn)在成為各大智能車標(biāo)配。

但就這樣一個(gè)智能駕駛系統(tǒng)，在攻擊下只需要1.3秒——稍一疏忽的時(shí)間，就會(huì)失控，從而在高速行駛中轉(zhuǎn)向其他車道。

該結(jié)論來(lái)自安全領(lǐng)域頂級(jí)會(huì)議NDSS上的新研究，得到了Best Poster Award（top 1/30），研究者里有多位中國(guó)小哥。

而且在自動(dòng)駕駛領(lǐng)域鮮有發(fā)聲的字節(jié)跳動(dòng)，出現(xiàn)在作者機(jī)構(gòu)和致謝名單中。

咦？難道？還是……？

不妨先一起深入看一看這項(xiàng)新研究，而且我們也找到了論文作者進(jìn)行了答疑。

車道保持輔助系統(tǒng)秒秒鐘失控

論文主要由兩位加州大學(xué)歐文分校的作者領(lǐng)銜。

在論文中，他們使用不覆蓋車道線的“臟路補(bǔ)丁”作為攻擊載體，在最先進(jìn)的開(kāi)源車道保持輔助系統(tǒng)OpenPilot上測(cè)試：攻擊126公里時(shí)速的車輛，只需要0.9秒就能讓它失控；72公里時(shí)速行駛下的汽車，只需要1.3秒。

而通常情況下，人類司機(jī)發(fā)現(xiàn)車輛失控，并采取措施的時(shí)間是2.3秒。目前，一共有15個(gè)汽車品牌的52個(gè)車型支持OpenPilot，包括大眾高爾夫、豐田凱美瑞、本田CR-V等。

受到波及的并不僅僅只有使用了OpenPilot的車。研究團(tuán)隊(duì)表示，這一攻擊適用于任何基于深度神經(jīng)網(wǎng)絡(luò)的車道保持系統(tǒng)，比如特斯拉的Autopilot，也可能會(huì)受到影響。

除了攻擊方法具有廣泛性，攻擊效果也很明顯。

論文中在3個(gè)場(chǎng)景中試驗(yàn)了攻擊有效性。前兩個(gè)場(chǎng)景采用的是comma2k19-1和comma2k19-1數(shù)據(jù)集，是真實(shí)世界高速公路場(chǎng)景。

第三個(gè)場(chǎng)景來(lái)自LGSVL-1數(shù)據(jù)集，模擬高速公路逼真度可達(dá)到工業(yè)級(jí)別，整體結(jié)果如下：

研究團(tuán)隊(duì)只針對(duì)前兩個(gè)測(cè)試制作了演示視頻——由變換后的攝像機(jī)圖像，經(jīng)過(guò)小車運(yùn)動(dòng)模型庫(kù)輸入生成。

換句話說(shuō)，就是在BEV(俯視圖)圖像上放置了“臟路補(bǔ)丁”，從BEV生成攝像機(jī)輸入，然后根據(jù)汽車運(yùn)動(dòng)模型更新下一幀狀態(tài)。

首先看一下自動(dòng)駕駛車輛在高速行駛?(126km/h)的情況。

在沒(méi)有攻擊的時(shí)候，車輛行進(jìn)還非常平穩(wěn)，能保持在自己原有的車道。但經(jīng)過(guò)添加了臟路補(bǔ)丁后，車輛（我們?cè)谲嚴(yán)锏囊暯牵┚拖?strong>“喝醉了酒”一樣，迅速駛出自己的車道。下面是正常情況和添加攻擊后的視角對(duì)比情況：

第二個(gè)場(chǎng)景，是自動(dòng)駕駛車輛中速行駛?(105km/h)的情況。進(jìn)行攻擊后，雖然沒(méi)有高速情況下“醉”得那么夸張，但還是能夠看出行駛位置迅速發(fā)生了偏移。

對(duì)比情況如下：

在第三個(gè)模擬場(chǎng)景中，自動(dòng)駕駛車輛行駛速度為72km/h，在相對(duì)較為低速的情況下，造成攻擊所用的時(shí)間為1.3s。

通常，LKAS被認(rèn)為是專治走神打盹的輔助駕駛功能，但遇到這個(gè)“臟路補(bǔ)丁”，秒秒鐘失控、出事兒，反應(yīng)都來(lái)不及。

到底是什么樣的攻擊，可以讓自動(dòng)駕駛LKAS變得如此不穩(wěn)定？

道路上“打補(bǔ)丁”

先簡(jiǎn)單科普下原理，基于深度神經(jīng)網(wǎng)絡(luò)(DNN)的LKAS，屬于L2自動(dòng)駕駛系統(tǒng)技術(shù)，最具代表性有OpenPilot和特斯拉的Autopilot，是當(dāng)前使用最為廣泛的智能駕駛技術(shù)之一，并正被更加廣泛地使用。

但好用的同時(shí)，安全嗎？畢竟駕駛上路，每一個(gè)隱患都事關(guān)人身安全。

這就是研究者們展開(kāi)課題的初衷，加州大學(xué)歐文分校的博士生、該研究共同一作沈駿杰說(shuō)：“從這類系統(tǒng)的用戶角度考慮，我很想知道到底目前最好的車道保持系統(tǒng)是否足夠安全，以及如何確保它的安全。”

2019年3月，他們正式立項(xiàng)，開(kāi)始了針對(duì)LKAS安全性的研究。核心的前提假設(shè)是：這些LKAS基于DNN，是不是直接攻擊DNN就能造成破壞？

并沒(méi)有那么簡(jiǎn)單。想要破壞這樣的LKAS，需要邁過(guò)“三座大山”：

• 第一，如何通過(guò)優(yōu)化方法來(lái)系統(tǒng)，生成針對(duì)車道保持系統(tǒng)的惡意路面修復(fù)補(bǔ)丁(malicious road patch)。
• 第二，如何保證道路補(bǔ)丁的隱蔽性，避免引起駕駛員和行人懷疑。
• 第三，如何讓生成的道路補(bǔ)丁能攻擊連續(xù)多幀圖像，并在車道保持系統(tǒng)受攻擊改變車輛軌跡后還能保證攻擊的有效性。

這項(xiàng)工作設(shè)計(jì)并實(shí)現(xiàn)了首個(gè)可以翻過(guò)“三座大山”的攻擊方法，僅僅是一塊“臟路補(bǔ)丁”。

他們假設(shè)攻擊者擁有和被攻擊對(duì)象一樣的車道保持系統(tǒng)，并能通過(guò)逆向工程獲悉該系統(tǒng)的細(xì)節(jié)，例如神經(jīng)網(wǎng)絡(luò)模型參數(shù)等。

如果被攻擊對(duì)象是基于類似OpenPilot這種開(kāi)源車道保持系統(tǒng)，攻擊者很容易就能獲得所有的模型參數(shù)和源代碼。

如果被攻擊對(duì)象采用的是類似Tesla Autopilot這類閉源系統(tǒng)，攻擊者也能通過(guò)逆向工程獲得模型的結(jié)構(gòu)和參數(shù)。

例如去年騰訊科恩實(shí)驗(yàn)室就成功逆向出了Autopilot里面的模型，并成功發(fā)動(dòng)了攻擊。

不過(guò)， 這只是第一步。具體的攻擊中，還需要生成基于車輛運(yùn)動(dòng)模型的輸入。考慮到連續(xù)攝像機(jī)幀間攻擊的相互依賴性，需要根據(jù)補(bǔ)丁生成過(guò)程中驅(qū)動(dòng)軌跡的變化，對(duì)攝像機(jī)輸入進(jìn)行動(dòng)態(tài)更新。

研究人員使用自行車模型，來(lái)模擬汽車軌跡的變化，然后通過(guò)對(duì)未受攻擊的原始攝像機(jī)輸入，應(yīng)用透視變換，來(lái)更新攝像機(jī)輸入。

下圖中紅色方框，就是模型輸入?yún)^(qū)域。在透視變換后，雖然會(huì)造成一些失真和部分缺失，但位于中心的模型輸入?yún)^(qū)域，仍然完整可用。

接下來(lái)生成惡意路面修復(fù)補(bǔ)丁，他們采用了一種優(yōu)化方法——*多幀路徑彎曲目標(biāo)函數(shù) (Multi-frame path bending objective function)。用它來(lái)替代目標(biāo)函數(shù)，讓汽車盡可能地發(fā)生偏離。

基于這樣的目標(biāo)函數(shù)，可以得到每個(gè)攝像機(jī)輸入的梯度。但梯度下降并不能直接適用于更新惡意路面修復(fù)補(bǔ)丁。

研究人員將所有相機(jī)輸入轉(zhuǎn)換為BEV，讓梯度對(duì)齊到相同的比例尺，并采取一個(gè)加權(quán)平均數(shù)，解決了這一問(wèn)題。具體如下圖所示：

同時(shí)，他們還將更新方向限制在了灰度范圍內(nèi)，假裝是一個(gè)正常(但骯臟的)道路補(bǔ)丁，這樣可以更加隱蔽地發(fā)起攻擊。

那么問(wèn)題來(lái)了，在現(xiàn)實(shí)世界中，發(fā)生這種攻擊性的可能性如何？該如何應(yīng)對(duì)？

該如何應(yīng)對(duì)攻擊？

研究團(tuán)隊(duì)稱，這一攻擊適用于任何基于深度神經(jīng)網(wǎng)絡(luò)的車道保持系統(tǒng)，接下來(lái)將會(huì)進(jìn)一步完善攻擊的適用性，進(jìn)一步研究車道保持輔助系統(tǒng)中的漏洞。

他們?cè)谡撐闹姓f(shuō)，如果有人可以刻意為之，比如出于商業(yè)或者金融目的，或者是企業(yè)之間的競(jìng)爭(zhēng)，在現(xiàn)實(shí)世界中惡意發(fā)起攻擊也不是不可能。

畢竟某社交平臺(tái)的運(yùn)營(yíng)合伙人，剛剛因?yàn)閻阂馀e報(bào)友商被抓，再次證明競(jìng)爭(zhēng)無(wú)所不用其極……

既然如此，那么這個(gè)問(wèn)題又該如何應(yīng)對(duì)呢？論文作者之一沈駿杰從研究者的角度，給出了可行的方案。

他說(shuō)：“這幾年確實(shí)有很多研究者提出多種不同的防御手段，例如對(duì)抗訓(xùn)練，隨機(jī)改變輸入大小和填充等?！?/p>

但這些防御手段只能對(duì)這個(gè)問(wèn)題提供一定程度的緩解?！澳壳斑€沒(méi)有任何一種防御手段能完全解決對(duì)抗樣本的問(wèn)題。”他說(shuō)。

一種可能的方向，是借助車輛輔助系統(tǒng)里面的其他信息，來(lái)交叉驗(yàn)證車道檢測(cè)的結(jié)果。比如，用雷達(dá)對(duì)于周圍車的估計(jì)來(lái)判斷本車的橫向偏移。

所以，即便在現(xiàn)實(shí)中發(fā)生類似攻擊的情況可能性很小，但在安全性沒(méi)有辦法得到保證的時(shí)候，自動(dòng)駕駛能否完全可依賴，還需要采取審慎態(tài)度。

在極端情況下，會(huì)要命。比如2016年5月，特斯拉的Autopilot因?yàn)榭ㄜ囓圀w反光，攝像頭并未識(shí)別對(duì)向的卡車，從而導(dǎo)致處于自動(dòng)駕駛狀態(tài)的Model S發(fā)生事故，導(dǎo)致駕駛員死亡。

道路千萬(wàn)條，安全永遠(yuǎn)是第一條。

加州大學(xué)歐文分校領(lǐng)銜，字節(jié)跳動(dòng)參與

最后，解答下開(kāi)頭提出的“字節(jié)跳動(dòng)之疑”。字節(jié)跳動(dòng)并非布局自動(dòng)駕駛，而是很前瞻性地把其中一名作者攬入麾下。

本次研究作者團(tuán)隊(duì)，來(lái)自加州大學(xué)歐文分校、字節(jié)跳動(dòng)和東北大學(xué)，一共有6名研究人員。其中任教于美國(guó)東北大學(xué)的Xue Lin，本科畢業(yè)于清華。

兩位同等貢獻(xiàn)第一作者來(lái)自加州大學(xué)歐文分校，分別是Takami Sato和沈駿杰。

沈駿杰，2013年本科畢業(yè)于杭州電子科技大學(xué)通信工程專業(yè)，2015年在北卡羅來(lái)納州立大學(xué)獲得計(jì)算機(jī)工程碩士學(xué)位。

2016年前往加州大學(xué)歐文分校攻讀博士學(xué)位，指導(dǎo)老師是陳齊——論文通訊作者。

陳齊于2012年畢業(yè)于南京大學(xué)計(jì)算機(jī)科學(xué)專業(yè)，之后前往密歇根大學(xué)讀書(shū)，師從茅斫青教授，2018年在獲得系統(tǒng)和網(wǎng)絡(luò)安全博士學(xué)位，同年7月加入加州大學(xué)歐文分校，擔(dān)任助理教授。

Takami Sato是沈駿杰的同門(mén)師弟，本科和碩士畢業(yè)于東京工業(yè)大學(xué)，于2019年在加州大學(xué)歐文分校攻讀博士學(xué)位。此外，作者中還有一位加州大學(xué)歐文分校博士生，名為Ningfei Wang。

據(jù)沈駿杰介紹，他們主要專注于計(jì)算機(jī)安全研究。從2018年以來(lái)，圍繞自動(dòng)駕駛和智能交通系統(tǒng)的攻擊和防御一共發(fā)布10多篇相關(guān)論文，分別在ACM CCS、Usenix Security、ICLR、EuroSys、NDSS發(fā)布。

這篇基于深度學(xué)習(xí)的車道保持輔助系統(tǒng)的安全性研究，是他們團(tuán)隊(duì)的最新成果。陳齊團(tuán)隊(duì)的研究人員之外，字節(jié)跳動(dòng)的賈云瀚參與了這項(xiàng)研究。

賈云瀚2013年畢業(yè)于上海交通大學(xué)軟件工程專業(yè)，之后前往密歇根大學(xué)攻讀博士學(xué)位，師從茅斫青教授——和陳齊是同門(mén)師兄弟。

2018年博士畢業(yè)之后，他加入百度安全研究方向的X實(shí)驗(yàn)室。2019年8月加入字節(jié)跳動(dòng)人工智能實(shí)驗(yàn)室擔(dān)任研究科學(xué)家。

賈云瀚近年來(lái)的研究同樣集中在安全，特別是智能汽車安全領(lǐng)域。2015年以來(lái)，賈云瀚在ACM CCS、NDSS等學(xué)術(shù)會(huì)議上發(fā)表15篇論文，獲得過(guò)3項(xiàng)專利。

據(jù)悉，他作為獨(dú)立研究者一作，與陳齊團(tuán)隊(duì)合作的論文，研究針對(duì)自動(dòng)駕駛系統(tǒng)里面目標(biāo)跟蹤的攻擊，已被ICLR 2020收錄。

所以做什么業(yè)務(wù)可能不本質(zhì)，有人才，真的可以為所欲為。

當(dāng)然，有人才的前提，是得有錢(qián)……

傳送門(mén)

論文地址：

https://www.ndss-symposium.org/wp-content/uploads/2020/02/NDSS2020posters_paper_15.pdf