路上鋪個“補丁”，智能汽車高速途中瞬間失控！應用最廣自動駕駛技術被曝漏洞 | 字節跳動參與的新研究

乾明 十三 發自 凹非寺
量子位 報道 | 公眾號 QbitAI

汽車越來越智能，越來越方便，但也帶來新安全隱患。

車道保持輔助系統，即LKAS，之前以L2自動駕駛核心功能為賣點，開長途、開高速環路，都能讓人類司機更輕松，現在成為各大智能車標配。

但就這樣一個智能駕駛系統，在攻擊下只需要1.3秒——稍一疏忽的時間，就會失控，從而在高速行駛中轉向其他車道。

該結論來自安全領域頂級會議NDSS上的新研究，得到了Best Poster Award（top 1/30），研究者里有多位中國小哥。

而且在自動駕駛領域鮮有發聲的字節跳動，出現在作者機構和致謝名單中。

咦？難道？還是……？

不妨先一起深入看一看這項新研究，而且我們也找到了論文作者進行了答疑。

車道保持輔助系統秒秒鐘失控

論文主要由兩位加州大學歐文分校的作者領銜。

在論文中，他們使用不覆蓋車道線的“臟路補丁”作為攻擊載體，在最先進的開源車道保持輔助系統OpenPilot上測試：攻擊126公里時速的車輛，只需要0.9秒就能讓它失控；72公里時速行駛下的汽車，只需要1.3秒。

而通常情況下，人類司機發現車輛失控，并采取措施的時間是2.3秒。目前，一共有15個汽車品牌的52個車型支持OpenPilot，包括大眾高爾夫、豐田凱美瑞、本田CR-V等。

受到波及的并不僅僅只有使用了OpenPilot的車。研究團隊表示，這一攻擊適用于任何基于深度神經網絡的車道保持系統，比如特斯拉的Autopilot，也可能會受到影響。

除了攻擊方法具有廣泛性，攻擊效果也很明顯。

論文中在3個場景中試驗了攻擊有效性。前兩個場景采用的是comma2k19-1和comma2k19-1數據集，是真實世界高速公路場景。

第三個場景來自LGSVL-1數據集，模擬高速公路逼真度可達到工業級別，整體結果如下：

研究團隊只針對前兩個測試制作了演示視頻——由變換后的攝像機圖像，經過小車運動模型庫輸入生成。

換句話說，就是在BEV(俯視圖)圖像上放置了“臟路補丁”，從BEV生成攝像機輸入，然后根據汽車運動模型更新下一幀狀態。

首先看一下自動駕駛車輛在高速行駛?(126km/h)的情況。

在沒有攻擊的時候，車輛行進還非常平穩，能保持在自己原有的車道。但經過添加了臟路補丁后，車輛（我們在車里的視角）就像“喝醉了酒”一樣，迅速駛出自己的車道。下面是正常情況和添加攻擊后的視角對比情況：

第二個場景，是自動駕駛車輛中速行駛?(105km/h)的情況。進行攻擊后，雖然沒有高速情況下“醉”得那么夸張，但還是能夠看出行駛位置迅速發生了偏移。

對比情況如下：

在第三個模擬場景中，自動駕駛車輛行駛速度為72km/h，在相對較為低速的情況下，造成攻擊所用的時間為1.3s。

通常，LKAS被認為是專治走神打盹的輔助駕駛功能，但遇到這個“臟路補丁”，秒秒鐘失控、出事兒，反應都來不及。

到底是什么樣的攻擊，可以讓自動駕駛LKAS變得如此不穩定？

道路上“打補丁”

先簡單科普下原理，基于深度神經網絡(DNN)的LKAS，屬于L2自動駕駛系統技術，最具代表性有OpenPilot和特斯拉的Autopilot，是當前使用最為廣泛的智能駕駛技術之一，并正被更加廣泛地使用。

但好用的同時，安全嗎？畢竟駕駛上路，每一個隱患都事關人身安全。

這就是研究者們展開課題的初衷，加州大學歐文分校的博士生、該研究共同一作沈駿杰說：“從這類系統的用戶角度考慮，我很想知道到底目前最好的車道保持系統是否足夠安全，以及如何確保它的安全。”

2019年3月，他們正式立項，開始了針對LKAS安全性的研究。核心的前提假設是：這些LKAS基于DNN，是不是直接攻擊DNN就能造成破壞？

并沒有那么簡單。想要破壞這樣的LKAS，需要邁過“三座大山”：

• 第一，如何通過優化方法來系統，生成針對車道保持系統的惡意路面修復補丁(malicious road patch)。
• 第二，如何保證道路補丁的隱蔽性，避免引起駕駛員和行人懷疑。
• 第三，如何讓生成的道路補丁能攻擊連續多幀圖像，并在車道保持系統受攻擊改變車輛軌跡后還能保證攻擊的有效性。

這項工作設計并實現了首個可以翻過“三座大山”的攻擊方法，僅僅是一塊“臟路補丁”。

他們假設攻擊者擁有和被攻擊對象一樣的車道保持系統，并能通過逆向工程獲悉該系統的細節，例如神經網絡模型參數等。

如果被攻擊對象是基于類似OpenPilot這種開源車道保持系統，攻擊者很容易就能獲得所有的模型參數和源代碼。

如果被攻擊對象采用的是類似Tesla Autopilot這類閉源系統，攻擊者也能通過逆向工程獲得模型的結構和參數。

例如去年騰訊科恩實驗室就成功逆向出了Autopilot里面的模型，并成功發動了攻擊。

不過， 這只是第一步。具體的攻擊中，還需要生成基于車輛運動模型的輸入。考慮到連續攝像機幀間攻擊的相互依賴性，需要根據補丁生成過程中驅動軌跡的變化，對攝像機輸入進行動態更新。

研究人員使用自行車模型，來模擬汽車軌跡的變化，然后通過對未受攻擊的原始攝像機輸入，應用透視變換，來更新攝像機輸入。

下圖中紅色方框，就是模型輸入區域。在透視變換后，雖然會造成一些失真和部分缺失，但位于中心的模型輸入區域，仍然完整可用。

接下來生成惡意路面修復補丁，他們采用了一種優化方法——*多幀路徑彎曲目標函數 (Multi-frame path bending objective function)。用它來替代目標函數，讓汽車盡可能地發生偏離。

基于這樣的目標函數，可以得到每個攝像機輸入的梯度。但梯度下降并不能直接適用于更新惡意路面修復補丁。

研究人員將所有相機輸入轉換為BEV，讓梯度對齊到相同的比例尺，并采取一個加權平均數，解決了這一問題。具體如下圖所示：

同時，他們還將更新方向限制在了灰度范圍內，假裝是一個正常(但骯臟的)道路補丁，這樣可以更加隱蔽地發起攻擊。

那么問題來了，在現實世界中，發生這種攻擊性的可能性如何？該如何應對？

該如何應對攻擊？

研究團隊稱，這一攻擊適用于任何基于深度神經網絡的車道保持系統，接下來將會進一步完善攻擊的適用性，進一步研究車道保持輔助系統中的漏洞。

他們在論文中說，如果有人可以刻意為之，比如出于商業或者金融目的，或者是企業之間的競爭，在現實世界中惡意發起攻擊也不是不可能。

畢竟某社交平臺的運營合伙人，剛剛因為惡意舉報友商被抓，再次證明競爭無所不用其極……

既然如此，那么這個問題又該如何應對呢？論文作者之一沈駿杰從研究者的角度，給出了可行的方案。

他說：“這幾年確實有很多研究者提出多種不同的防御手段，例如對抗訓練，隨機改變輸入大小和填充等。”

但這些防御手段只能對這個問題提供一定程度的緩解。“目前還沒有任何一種防御手段能完全解決對抗樣本的問題。”他說。

一種可能的方向，是借助車輛輔助系統里面的其他信息，來交叉驗證車道檢測的結果。比如，用雷達對于周圍車的估計來判斷本車的橫向偏移。

所以，即便在現實中發生類似攻擊的情況可能性很小，但在安全性沒有辦法得到保證的時候，自動駕駛能否完全可依賴，還需要采取審慎態度。

在極端情況下，會要命。比如2016年5月，特斯拉的Autopilot因為卡車車體反光，攝像頭并未識別對向的卡車，從而導致處于自動駕駛狀態的Model S發生事故，導致駕駛員死亡。

道路千萬條，安全永遠是第一條。

加州大學歐文分校領銜，字節跳動參與

最后，解答下開頭提出的“字節跳動之疑”。字節跳動并非布局自動駕駛，而是很前瞻性地把其中一名作者攬入麾下。

本次研究作者團隊，來自加州大學歐文分校、字節跳動和東北大學，一共有6名研究人員。其中任教于美國東北大學的Xue Lin，本科畢業于清華。

兩位同等貢獻第一作者來自加州大學歐文分校，分別是Takami Sato和沈駿杰。

沈駿杰，2013年本科畢業于杭州電子科技大學通信工程專業，2015年在北卡羅來納州立大學獲得計算機工程碩士學位。

2016年前往加州大學歐文分校攻讀博士學位，指導老師是陳齊——論文通訊作者。

陳齊于2012年畢業于南京大學計算機科學專業，之后前往密歇根大學讀書，師從茅斫青教授，2018年在獲得系統和網絡安全博士學位，同年7月加入加州大學歐文分校，擔任助理教授。

Takami Sato是沈駿杰的同門師弟，本科和碩士畢業于東京工業大學，于2019年在加州大學歐文分校攻讀博士學位。此外，作者中還有一位加州大學歐文分校博士生，名為Ningfei Wang。

據沈駿杰介紹，他們主要專注于計算機安全研究。從2018年以來，圍繞自動駕駛和智能交通系統的攻擊和防御一共發布10多篇相關論文，分別在ACM CCS、Usenix Security、ICLR、EuroSys、NDSS發布。

這篇基于深度學習的車道保持輔助系統的安全性研究，是他們團隊的最新成果。陳齊團隊的研究人員之外，字節跳動的賈云瀚參與了這項研究。

賈云瀚2013年畢業于上海交通大學軟件工程專業，之后前往密歇根大學攻讀博士學位，師從茅斫青教授——和陳齊是同門師兄弟。

2018年博士畢業之后，他加入百度安全研究方向的X實驗室。2019年8月加入字節跳動人工智能實驗室擔任研究科學家。

賈云瀚近年來的研究同樣集中在安全，特別是智能汽車安全領域。2015年以來，賈云瀚在ACM CCS、NDSS等學術會議上發表15篇論文，獲得過3項專利。

據悉，他作為獨立研究者一作，與陳齊團隊合作的論文，研究針對自動駕駛系統里面目標跟蹤的攻擊，已被ICLR 2020收錄。

所以做什么業務可能不本質，有人才，真的可以為所欲為。

當然，有人才的前提，是得有錢……

傳送門

論文地址：

https://www.ndss-symposium.org/wp-content/uploads/2020/02/NDSS2020posters_paper_15.pdf