清華阿里RealAI聯(lián)合發(fā)布首個AI安全評估平臺，模型防御力如何？一測便知
平臺能夠?qū)I防御和攻擊算法進(jìn)行自動化、科學(xué)的評估
白交 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
AI的創(chuàng)新發(fā)展，帶來了新一輪的產(chǎn)業(yè)變革。
一方面，是落地于傳統(tǒng)行業(yè)，提升產(chǎn)業(yè)效率；另一方面，則是催生了新的產(chǎn)業(yè)，比如智能交通、智慧醫(yī)療。
但與此同時，AI所帶來的新的風(fēng)險和安全隱患，也同樣不容小覷。
想象一下這些場景。
街道上自動駕駛的汽，車因AI視覺系統(tǒng)受到AI算法誘導(dǎo)攻擊，那么行駛軌跡發(fā)生改變。
有人通過AI技術(shù)模仿出跟你熟悉的親朋好友一模一樣的聲音，找你借錢。
……
雖然AI技術(shù)已經(jīng)有了長足進(jìn)步，但是沒有安全性的保障，也很難取得有效發(fā)展。
最近，清華大學(xué)聯(lián)合阿里安全、Real AI發(fā)布了首個公平、全面的AI攻防對抗基準(zhǔn)平臺。
平臺能夠?qū)I防御和攻擊算法進(jìn)行自動化、科學(xué)的評估，并實(shí)時生成一個AI安全排行榜單。
AI模型是否安全？一測便知。
AI攻防對抗基準(zhǔn)平臺
不同于之前只包含零散攻防模型的對抗攻防基準(zhǔn)，此次推出AI對抗安全基準(zhǔn)基本上包括了目前主流的人工智能對抗攻防模型，涵蓋了數(shù)十種典型的攻防算法。
不同算法比測的過程中盡量采用了相同的實(shí)驗設(shè)定和一致的度量標(biāo)準(zhǔn)，從而在最大限度上保證了比較的公平性。
清華大學(xué)計算機(jī)系教授、RealAI首席科學(xué)家朱軍介紹道：
通過對AI算法的攻擊結(jié)果和防御結(jié)果進(jìn)行排名、比較不同算法的性能，建立AI安全基準(zhǔn)具有重要學(xué)術(shù)意義，可以更加公平、全面地衡量不同算法的效果。”
此外，評測標(biāo)準(zhǔn)則是依托清華大學(xué)人工智能研究院研發(fā)的人工智能對抗安全算法平臺ARES（Adversarial Robustness Evaluation for Safety）建立。
ARES作為古希臘神話中的戰(zhàn)神，雙手持矛和盾是攻防合一的化身，集中體現(xiàn)了AI安全算法攻防博弈的特點(diǎn)。
阿里安全高級算法專家越豐，參與了此次評測基準(zhǔn)平臺的設(shè)計，他表示：
就像打仗一樣，攻擊者可能用水攻，也可能火攻，還可能偷偷挖條地道來攻打一座城，守城的人不能只考慮一種可能性，必須布防應(yīng)對許多的攻擊可能性。
“創(chuàng)新治理兩手抓”
因此，我們不光要致力于AI的創(chuàng)新發(fā)展，還有專注于AI的治理。
正如張鈸院士所說：
既要抓AI的創(chuàng)新發(fā)展，又要抓AI的治理，兩手都要抓。
張鈸院士還談到，為何AI的發(fā)展沒有像信息科技發(fā)展異常迅猛，反而卻緩慢曲折，安全問題層出不窮。
究其關(guān)鍵，還是基礎(chǔ)理論的局限性。
從信息革命一開始，信息的三大理論就已經(jīng)建立：圖靈機(jī)理論、信息論、控制論。
有了堅實(shí)的理論基礎(chǔ)，從而引導(dǎo)信息技術(shù)健康地發(fā)展。
AI則相反，它的理論基礎(chǔ)至今沒有建立。
盡管經(jīng)歷了盡管經(jīng)歷了第一代AI的符號主義模型（知識驅(qū)動），和第二代AI的亞符號（連接）主義模型（數(shù)據(jù)驅(qū)動）。
但由于它們均具有很大的局限性，不能構(gòu)成AI的理論基礎(chǔ)。
因此，建立AI的理論基礎(chǔ)，也就成為張鈸院士團(tuán)隊提出“第三代人工智能”的初衷。
“第三代人工智能”，簡單來說，是利用知識、數(shù)據(jù)、算法和算力4個要素，建立新的可解釋和魯棒的AI理論和方法，從而發(fā)展安全、可信、可靠和可擴(kuò)展的AI技術(shù)。
最后，張鈸院士呼吁：全世界應(yīng)該團(tuán)結(jié)起來，共同來發(fā)展安全可控的第三代人工智能，讓人工智能真正造福于人類。
平臺網(wǎng)站：
http://ml.cs.tsinghua.edu.cn/adv-bench/
- 空間智能卡脖子難題被杭州攻克！難倒GPT-5后，六小龍企業(yè)出手了2025-08-28
- 陳丹琦有了個公司郵箱，北大翁荔同款2025-08-28
- 英偉達(dá)最新芯片B30A曝光2025-08-20
- AI應(yīng)用如何落地政企？首先不要卷通用大模型2025-08-12
相關(guān)閱讀
超越LLama2，通義千問登頂HuggingFace開源大模型排行榜榜首
通義千問（Qwen-72B）表現(xiàn)搶眼，以73.6的綜合得分在所有預(yù)訓(xùn)練模型中排名第一。
阿里開源首個移動AI項目，淘寶同款推理引擎
已經(jīng)用于阿里手機(jī)淘寶、手機(jī)天貓、優(yōu)酷等20多個應(yīng)用之中。
達(dá)摩院三周年，當(dāng)初立的flag都實(shí)現(xiàn)了嗎？
“在金庸小說中，達(dá)摩院代表最高武學(xué)機(jī)構(gòu)“
阿里賈揚(yáng)清：新一輪AI爆發(fā)的推動機(jī)制是工程化和開源 | MEET2023
業(yè)界需求已從代碼開源前進(jìn)到了模型開源
