人機“心電感應”！人類可以預測神經(jīng)網(wǎng)絡的錯誤分類 | 論文
人類能猜出來神經(jīng)網(wǎng)絡是怎么想的嗎？
銅靈 發(fā)自 凹非寺
量子位 出品 | 公眾號 QbitAI
對抗圖像是神經(jīng)網(wǎng)絡的頑敵，比如讓AI錯誤檢測路標信息、把烏龜認成步槍，都曾是對抗圖像的“惡搞”。
當千辛萬苦調(diào)試的神經(jīng)網(wǎng)絡遇到了對抗圖像，一場你死我活的尊嚴戰(zhàn)就開始了。
或許，人類可以理解并幫助神經(jīng)網(wǎng)絡進行判斷。
約翰霍普金斯大學發(fā)表的最新論文Humans can decipher adversarial images顯示，人類可以直觀理解神經(jīng)網(wǎng)絡犯錯的邏輯，并預測機器的錯誤分類。
目前，這篇論文已經(jīng)被Nature子刊Nature Communications接收。
人機“心電感應”
在這個項目中，研究人員向人類志愿者展示了一些對抗性圖片的圖集，讓人類判斷神經(jīng)網(wǎng)絡會將這些圖片認成什么。
這個圖集本來是用來檢測機器學習模型用的，里面的圖像包含了一些微小的、不易被機器察覺的干擾。這48張顯著對抗攻擊產(chǎn)生的圖像，都曾經(jīng)擊敗過AlexNet和Inception V3等常用圖像識別模型。
人類能猜出來神經(jīng)網(wǎng)絡是怎么想的嗎？
這是一項龐大的工程，研究人員找來了1800名人類志愿者參與這個項目。他們將志愿者分成了8組，包括7個200名志愿者組成的組和1個400名志愿者組成的組，共進行7組實驗。
為了保證參與者之間的多樣性，每一組志愿者分別負責一組實驗。
實驗開始前，研究人員怎么也沒料到，人類的直覺與神經(jīng)網(wǎng)絡的選擇竟然可以這么相似。
實驗開始
第一關，用多余的圖像標簽迷惑神經(jīng)網(wǎng)絡。
研究人員讓人類依次識別48張圖像，每一張圖像給出兩個標簽，一個是機器為該圖像選擇的，另一個是從其他47張圖像中隨機抽取的。人類需要猜測，到底哪一個才是機器給出的標簽。
結果發(fā)現(xiàn)，人類選擇的圖片標簽中有74%與機器選擇的標簽一致，98%的人更傾向于選擇與機器相同的標簽，遠高于50%隨機選擇概率。初步實驗表明，人類的選擇與機器有著驚人的普遍性。
人類與機器的思維有多相似？研究人員繼續(xù)進行了下一場實驗。
第二關，找出機器的首選與次選。
在這場實驗中，研究人員要求人類為每張圖像排序。他們用AlexNet模型給每張圖像的首選標簽和次選標簽給人類，讓人類猜測哪些是神經(jīng)網(wǎng)絡的首選。
結果依舊證明了實驗一的結論，91%的選擇與機器的首選一致，人類似乎真的能猜透神經(jīng)網(wǎng)絡的心。
研究人員加大難度，繼續(xù)進行了第三場實驗，多向分類。
這一次，人類志愿者需要處理的標簽數(shù)量一下子從2個增加到48個：研究人員給定一張圖片，讓人類在48個可能的標簽中挑選最符合圖片內(nèi)容的標簽。
人類的判斷與機器分類再一次重合，90%的人類與機器的首選一致。這些結果表明，人類與機器的錯誤分類具有一致性。
研究還在繼續(xù)，難度仍在加大。
第四場實驗看起來似乎有些“玄學”，判斷雪花狀電視圖像中是什么。
比如下圖這些類似電視沒信號時出現(xiàn)雪花點：
你能猜出哪張里面包含一只知更鳥么？
這些圖像看起來只是色彩塊的集合，讓人摸不到什么規(guī)律。仔細看會發(fā)現(xiàn)，每張圖中央都會有一塊色彩密集的區(qū)域，但是也看不出是什么。
但是，依然有80%的人類志愿者與機器達成一致。并且，人類為75%的圖像選擇的首選標簽也是機器的首選圖像。
此外，研究人員還進行了數(shù)字干擾實驗、自然圖像和局部擾動實驗、3D物體實驗。
7組實驗下來，研究人員斷定：人類的思維直覺與機器的相似性極高，因此人類可以預測機器會不會進行錯誤分類，進而預測、修正機器的判斷邏輯。
黑盒，看起來也沒有那么不可捉摸了。
傳送門
論文Humans can decipher adversarial images地址：
https://www.nature.com/articles/s41467-019-08931-6#Sec1
VentureBeat報道：
Humans can predict how machines (mis)classify adversarial images
—?完?—
誠摯招聘
量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節(jié)，請在量子位公眾號(QbitAI)對話界面，回復“招聘”兩個字。
量子位?QbitAI · 頭條號簽約作者
?’?’ ? 追蹤AI技術和產(chǎn)品新動態(tài)
- 微軟公布19財年財報：凈利潤增長22%，云計算首超個人計算業(yè)務2019-07-19
- 騰訊云推出物聯(lián)網(wǎng)邊緣計算平臺，具備五大特點，想攻克物聯(lián)網(wǎng)落地難題2019-08-28
- DeepMind醫(yī)療業(yè)務幾經(jīng)動蕩，現(xiàn)在團隊并入Google2019-09-20
- 首例基因編輯干細胞治療艾滋病：北大鄧宏魁參與，達最佳治療效果2019-09-14
相關閱讀
「過擬合」也能廢物利用了：有人用它高清重建3D物體表面，參數(shù)減少99%
多倫多大學和麥吉爾大學的一項最新研究表明，過擬合也并非一無是處，在重建3D物體外觀上，過擬合神經(jīng)網(wǎng)絡就有奇效。
