糟糕，手機密碼不保！劍橋大學新研究，用AI算法“監聽”手機打字，觸摸屏也中招

栗子 安妮 2019-04-02 15:06:29 來源：量子位

栗子 安妮 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

觸摸屏，也能出賣你的手機密碼。

手機的內置麥克風，搭配AI算法，就能讓輸入的每一個字無處可逃。

你可能聽不到，但手指每在屏幕上輕輕點一下，都會發出一個聲波。離屏幕不到1厘米遠的麥克風，輕輕松松就能記錄下來。

劍橋大學的科學家們，開發了一只偷聽觸摸屏的AI。它能從細微的聲音中，還原出人類輸入的信息。

45名志愿者真人測試，數字、字母，都被AI“偷”了出來。

聲波出賣你

四顧無人時悄咪咪在觸摸屏上解個鎖，怎么就被聲波泄露了密碼呢？

“聽到你的觸摸”，這是論文的名字 (完整版：Hearing your touch: A new acoustic side channel on smartphones) 。在這里，研究人員揭秘了“作案思路”，其實并不難理解。

即使是在觸摸屏上輕悄悄地操作，手指的每一次輕微的敲擊都會產生聲波。當戳擊屏幕不同位置時，聲波信息也會有相應的變化。

△?觸摸屏上按下“f”鍵時的聲波震動形狀

沒錯，關鍵信息就隱藏在這些形狀不同的聲波里。而這些信息，恰巧可以被手機內置的麥克風捕捉到。

研究人員反手開發了一個手機惡意應用程序，當這個程序被植入手機時，能夠調動內置麥克風，讓其秘密開始工作，記錄下觸摸時的聲波信息。

△?實驗所用的惡意聲波收集程序

他們收集了聲波形狀與觸摸位置的對應信息，訓練出了一個AI模型，還原輸入內容。

至此，作案流程已經基本成型：

惡意程序悄悄啟動→悄悄捕捉輸入密碼時的聲波→AI模型預測手指對應在屏幕的位置→還原輸入的密碼和信息。

AI伙同麥克風，分工明確，里應外合，井然有序地就將你的隱私偷走了。

現場驗證

這套程序的效果如何？研究人員找來了45位志愿者，開始了一系列測試。

整套測試的機型選用了Google旗下的Nexus 5手機以及Nexus 9平板。前者為2013年首發，屏幕大小為4.95英寸，后者為2014年發布，屏幕為8.9英寸。兩款設備均內置2個麥克風。

△?實驗設備麥克風位置示意：左為Nexus 5，右為Nexus 9

為了模擬真實世界的環境，研究人員沒有選擇安靜的實驗室，而是選取了3種日常環境，測試在不同噪音環境下整個系統的準確度：

• 公共休息室：周圍是聊天的人類，偶爾會出現煮咖啡時發出的較大噪音。
• 閱覽室：電腦鍵盤聲與小聲說話聲混合的環境。
• 圖書館：幾乎沒有說話聲，但電腦鍵盤聲環繞四周。

研究人員在這三個環境中，讓45名志愿者分別進行了4組實驗。

第一組志愿者需要隨機輸入數字1-9，每個數字各輸入10次，第二組需要輸入200組四位數字的密碼，第三組隨機輸入字母，第四組需要輸入5個字母組成的單詞，這些單詞均來自聊天語料庫NPS。

實驗結果驗證了這種攻擊方法可行性。

在20次實驗中，AI能準確還原150個四位數字密碼中的91個，還原準確率為61%。

破解字母組成的暗號也不成問題。用27個單詞密碼測試時，只進行10次實驗，模型在手機上破解了7個單詞，在平板上成功還原出其中的19個。

就是這樣，你毫無察覺，但密碼不脛而走。

我有許多小mimi，都在聲波里

其實不用慌，因為AI想拿到手機密碼，也不止這一種方法。

去年9月，英國蘭卡斯特大學發表的研究，用手機揚聲器里的聲吶，竊取密碼，特別是圖形密碼。

聲吶的原理是，計算聲波從發出到返回之間的時差，來確定物體的位置，以及物體有沒有移動。這項研究里，AI分析麥克風錄下的回聲，便可以追蹤用戶手指在智能手機屏幕上的移動軌跡了。

也是在你沒有察覺的時候，一切就發生了。

當然，上面這些只是手機上的問題。

如今，從鍵盤到硬盤，哪一個聽不到你的秘密？

(請注意，這是一句嚴肅的話，沒有開車。)

就連家里的盆栽，可能也知道你說了什么。

所以，我們一個一個講。

聽一下鍵盤先

去年12月，就有個名叫Keytap的鍵盤竊聽法術，簡單有效，吸引了大片關注。

先用麥克風采集一下敲擊各種按鍵的聲波，比如每個鍵收集三次。

再搭個簡單的預測模型，算出每個按鍵的平均波形：

把收集好的聲波的峰值對齊，避免延時影響；再用相似度指標 (Similarity Metric) 精細地對齊波形；對齊之后，做個簡單加權平均，就得到平均波形了。

最后，盡情敲鍵盤吧，只要和平均波形比對一下相似度，就能檢測出是哪個按鍵了。

還有開源代碼，大家可以直接玩耍。

硬盤偷聽，麥克風也不用

這是密歇根大學和浙大學者腦洞的結晶。原原本本的機械硬盤，不加麥克風，不做任何硬件改動，就變成了竊聽器，且音質不俗：

硬盤工作的時候，主軸高速運轉帶動盤片，上面的磁頭會感應盤片上的磁場變化，通過改變磁場，來寫入數據。

這個過程非常精細。只要受到外部的聲波沖擊，磁頭就會發生偏移。硬盤的位置傳感器，產生的電壓信號里就會體現出這個偏移。

讓AI去分析這細小的偏移，科學家們還原了人類說的話，又還原了高保真的音樂，Shazam的聽歌識曲也能答對歌名。

畢竟，硬盤的采樣率超過30,000赫茲，幾乎是CD級的錄音質量。

薯片，不只是清脆

優雅的聲音，可能是吃薯片最大的快感。

但偷聽人類說話，科學家們不是靠薯片碎裂發出的聲波，而是在視覺上動了心思。

MIT、微軟和Adobe組成的混合團隊，用高速相機透過隔音玻璃，拍攝出薯片袋的振動，算法便能判斷說話的人是男是女，甚至還原講話的內容。

研究人員說，聲音傳播時觸碰到周圍的物體，會在振動中形成一股微妙的視覺信號，肉眼不會發覺，但高速相機（每秒2000~6000幀）捕捉得到。AI分析視覺信號，便能聽出人類的談話了。

而且，不止薯片袋，鋁箔、水杯甚至植物盆栽，都可以用來偷聽。這些物件在房間里出現，人類又絲毫不會覺得奇怪，真是得天獨厚。

這項研究，中選了頂會SIGGRAPH 2014。

如此說來，或許世間萬物，都知道你的秘密。

不過還好，這些方法還在研究階段。

傳送門

這篇論文的研究人員共有四位，分別為劍橋大學的Ilia Shumailov、Jeff Yan、Ross Anderson及三星美國研究院Laurent Simon。

論文Hearing your touch: A new acoustic side channel on smartphones地址：

https://arxiv.org/abs/1903.11137

—?完?—

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復“招聘”兩個字。

量子位?QbitAI · 頭條號簽約作者

?’?’ ? 追蹤AI技術和產品新動態