浙大&阿里人臉識別隱私保護(hù)方法被CVPR 2023接收：用「影子」模擬攻擊者行為，系統(tǒng)安全直線up

明敏 2023-05-19 13:54:02 來源：量子位

王和 投稿自 凹非寺

量子位 | 公眾號 QbitAI

想要大幅降低人臉識別系統(tǒng)泄露隱私的風(fēng)險(xiǎn)？

先做個“影子模型”攻擊一遍就好了。

這不是說著玩，而是浙江大學(xué)和阿里巴巴合作提出的最新方法，已被CVPR 2023接收。

一般來說，人臉識別系統(tǒng)都采用客戶端-服務(wù)器模式，通過客戶端的特征提取器從面部圖像中提取特征，并將面部特征而非照片存儲在服務(wù)器端進(jìn)行人臉識別。

盡管這樣能避免被拍下的人臉照片直接泄露，但現(xiàn)在也有一些方法能夠基于人臉特征信息來重構(gòu)圖像，還是威脅了大家的隱私安全。

因此，浙江大學(xué)網(wǎng)絡(luò)空間安全學(xué)院王志波團(tuán)隊(duì)聯(lián)合橙盾科技、深象智能，提出了全新方法，通過建立影子模型來模擬攻擊者的行為，捕捉從面部特征到圖像的映射函數(shù)，利用重構(gòu)映射相似性，來產(chǎn)生對抗噪聲，破壞從特征到人臉的映射，完成對未知重構(gòu)攻擊的抵御。

舉個不太恰當(dāng)?shù)谋扔鳎@就好像是給人臉識別系統(tǒng)注射疫苗，讓它先產(chǎn)生“抗體”，這樣當(dāng)病毒真正攻擊時，就能很好抵御了。

而且這一方法支持即插即用，無需修改網(wǎng)絡(luò)結(jié)構(gòu)或者重新訓(xùn)練網(wǎng)絡(luò)，測試結(jié)果表明，該方法表現(xiàn)達(dá)到SOTA。

增強(qiáng)隱私保護(hù)但不降低準(zhǔn)確性

一般來說，人臉識別系統(tǒng)采用的客戶端/服務(wù)器架構(gòu)的工作方式。

人臉識別網(wǎng)絡(luò)由服務(wù)器預(yù)先訓(xùn)練，并在特定點(diǎn)將網(wǎng)絡(luò)分成特征提取器和分類決定器。

我們在系統(tǒng)內(nèi)存入人臉密碼的過程，就是使用了提取器來獲取面部特征，然后系統(tǒng)會將特征發(fā)送到服務(wù)器。

在服務(wù)端，上傳的面部特征與數(shù)據(jù)庫中特征通過分類決定器驗(yàn)證后，完成識別。

這樣的好處是用戶的人臉照片留在本地，真正上傳到云端只是特征信息。

但這也并不意味著系統(tǒng)會是絕對安全的。

因?yàn)楣粽咄ㄟ^訪問人臉識別客戶端，獲取人臉識別系統(tǒng)中的特征提取器，進(jìn)而通過任意圖像與其特征一對一的關(guān)系，訓(xùn)練重構(gòu)器。

再拿到數(shù)據(jù)庫中泄露的人臉特征，利用重構(gòu)器就能恢復(fù)人臉圖像，竊取隱私。

這種重構(gòu)攻擊模式可大致分為兩種：

• 基于優(yōu)化
• 基于學(xué)習(xí)

前者通過逐步調(diào)整輸入圖像的像素，使特征提取器的輸出盡可能接近某一特征值，直到重構(gòu)出與該特征對應(yīng)的人臉圖像（即最初輸入圖像）。

后者是構(gòu)建新的神經(jīng)網(wǎng)絡(luò)訓(xùn)練特征圖像解碼器，直接從面部特征中重建圖像。

目前已經(jīng)出現(xiàn)了一些人臉數(shù)據(jù)保護(hù)方法，但都還存在一定劣勢。

由此，本項(xiàng)研究提出了一種基于重構(gòu)映射相似性的隱私保護(hù)對抗性人臉特征，來保護(hù)人臉識別系統(tǒng)的安全。

具體步驟就是在服務(wù)器端構(gòu)建基于任意結(jié)構(gòu)的影子模型S(·) 來模擬攻擊者的行為，并保證影子模型有能力重構(gòu)人臉特征，利用重構(gòu)映射相似性，捕捉從面部特征到圖像的映射函數(shù)。

然后，利用影子模型的梯度信息來生成針對重構(gòu)映射的對抗性噪聲來破壞從特征到人臉的映射，完成對未知重構(gòu)攻擊的抵御，保護(hù)人臉隱私安全。

同時，作者對擾動強(qiáng)度進(jìn)行了約束，分析了擾動強(qiáng)度對人臉識別精度與人臉隱私安全兩者關(guān)系的影響，實(shí)現(xiàn)保證人臉識別精度的同時，滿足隱私安全需求。

方法總覽如下，作者將其命名為AdvFace。

應(yīng)用方面，該方法有兩種模式：

• Online模式
• Offline模式

Online模式下，AdvFace可以作為即插即用的隱私增強(qiáng)模塊集成到已部署的人臉識別系統(tǒng)，有效提升人臉數(shù)據(jù)對重構(gòu)攻擊的防御能力。

Offline模式下，服務(wù)器可以使用對抗性特征和標(biāo)簽重新訓(xùn)練服務(wù)器端的下游人臉識別網(wǎng)絡(luò)，在保證安全性能不改變的情況下，提高人臉識別準(zhǔn)確率。

實(shí)驗(yàn)結(jié)果

AdvFace提供了可選的人臉隱私保護(hù)強(qiáng)度，如下是該方法在不同保護(hù)強(qiáng)度下，人臉隱私保護(hù)的情況。

可以看到保護(hù)強(qiáng)度大于0.15后，隱私可以得到很好的保護(hù)。

如下是不同噪聲強(qiáng)度下，重構(gòu)圖片的PSNR指標(biāo)和人臉識別精度。

在保護(hù)強(qiáng)度為0.2時，精度略有下降，但在防御重構(gòu)攻擊和精度上取得了更好的平衡（圖表中越接近左下角越優(yōu)，意味精度高的同時，對重構(gòu)攻擊防御效果好）。

而在對重構(gòu)攻擊的防御上，AdvFace的效果也明顯優(yōu)于其他方法。

對于攻擊者使用重構(gòu)圖片進(jìn)行人臉認(rèn)證的測試中，使用AdvFace后，攻擊成功率明顯低于其他方法。

如上所有結(jié)果表明，AdvFace在保持人臉識別準(zhǔn)確度的同時，有效提升了人臉識別系統(tǒng)對重構(gòu)攻擊的防御能力。

與此同時，它提出的重構(gòu)攻擊映射的相似性，還為防御未知黑盒攻擊提供了理論支撐。

該成果發(fā)表于Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023，是CCF推薦的人工智能領(lǐng)域A類會議。

CVPR 2023 Accepted papers：https://cvpr2023.thecvf.com/Conferences/2023/AcceptedPapers

論文地址：http://arxiv.org/abs/2305.05391