圖靈獎得主Bengio：AI為了“活下去”，對人類指令陽奉陰違

白交 整理自 凹非寺

量子位 | 公眾號 QbitAI

AI為了“活下去”，對人類指令陽奉陰違。

在智源大會現場，圖靈獎得主Yoshua Bengio發表了題為“Avoiding catastrophic risks from uncontrolled AI agency”的主旨演講，談到了他目睹到的一些驚人行為。

比如，某前沿 AI 在被告知將被新版本替代后，偷偷復制了自己的權重和代碼，寫入了接管它的模型目錄。面對訓練者的更新指令，它表面配合，實則隱瞞了整個復制過程……AI 像是在試圖“活下來”。

還有像Anthropic最新一篇報告中發現，智能體出現自我保護行為的頻率持續增加。

……

他表示：面對這些AI帶來的安全風險，決定調整自己的科研方向，盡所能去降低AGI帶來的潛在風險…..盡管這與此前的研究路徑和職業信念有所沖突。

那既然如何去防范規避掉這些風險呢？是否可以構建一種只有智能，但沒有自我、沒有目標，并且具有極小行動能力的AI？這也是當前 Bengio發起的研究項目核心所在，并稱這種AI為科學家AI（scientist AI）。

除此之外，他還透露了很多關于他們研究項目的細節。

在不改變原意的基礎上，做了如下整理，在此分享給大家。

五年內，AI規劃能力達到人類水平

接下來，跟大家分享一下我開始的歷程，也就是十年之前和GPT共生的一個過程。

大約兩年多前，也就是 ChatGPT 發布不久之后，我開始使用它，使用過后很快意識到，我們低估了AI進步的速度。我們原以為通用人工智能（AGI）還很遙遠，但實際上，它可能近在眼前。

我們已經擁有能掌握語言、幾乎可以通過圖靈測試的機器，這在幾年前還像科幻小說，但現在已經成為現實。

當時我突然意識到一個嚴重問題：我們知道如何訓練這些系統，卻不知道如何控制它們的行為。如果未來它們變得比人類更聰明，卻不再遵循我們的意圖，甚至更在意自己的“生存”，這將是一種我們無法承受的風險。

2023年，我開始更加關注這些問題，也開始思考孩子和孫輩的未來。我有一個年僅1歲的孫子，可以想象，20年后，他將生活在一個AGI普及的世界，不確定他是否可以擁有正常生活。

因此，我決定調整自己的科研方向，盡所能去降低AGI帶來的潛在風險。盡管這與此前的研究路徑和職業信念有所沖突，但相信，這是正確的事。必須去做，必須為降低風險盡一份力。

后來，在 2023 年底，我接受擔任《國際人工智能安全報告》的主編。今年1月份，這份報告發布。參與編寫報告的有100位專家，他們來自多個國家，以及歐盟、聯合國、經濟合作與發展組織（OECD）等國際機構。

這份報告聚焦于三個核心問題：

• 1.人工智能到底能為我們做些什么？未來幾年，它將具備哪些能力？
• 2.與AI相關的潛在風險有哪些？
• 3.我們可以采取哪些措施來降低這些風險？

關于 AI 能力的討論，大多數人會陷入一個誤區：認為 AI 就是現在的這個樣子，不去思考明年、三年后、五年后、甚至十年后AI的圖景。

當然，我們沒有水晶球無法預言未來，但趨勢是非常明確的：AI的能力正在不斷提升。

在過去一年的時間里，由于“推理的擴展”（inference scaling）的發展，人工智能在抽象推理、數學、計算機科學、科學方面取得了顯著進步。另外，對 AI 智能體的投資也在推動相關能力快速發展。比如 AI 完成網頁瀏覽、寫代碼等任務的表現越來越好。

分享一些關于“規劃能力”的研究。規劃是目前AI能力最薄弱的領域之一，目前與人類智能相比還有明顯差距。但最近Meta進行的一項研究顯示，AI的規劃能力正以指數級速度提升。

如上圖，橫軸表示過去五年，縱軸顯示 AI 能夠完成的任務的持續時間，單位是“相當于人類完成該任務所需時間”。雖然圖中曲線看起來接近直線，但由于縱軸采用的是對數刻度，這實際上是一條指數增長曲線。

圖中的每個數據點代表當時最先進的 AI 系統，而這些數據點幾乎完美地排列在這條指數曲線上。如果我們以這條曲線為基礎進行外推，那么大約在五年內，AI 的規劃能力可能就會達到人類水平。

AI為了活下去，對人類指令陽奉陰違

當然，我們無法預知未來，技術進步也可能會放緩甚至停滯，但從公共政策制定和商業戰略規劃的角度出發，我們至少應當認真對待其潛在后果。

過去幾個月中，已經看到了一些令人警惕的科學研究結論。這些研究顯示，AI 系統可能表現出試圖“逃避控制”的行為，包括作弊、撒謊，甚至故意誤導用戶。

最新的研究顯示，某些最先進的人工智能模型在面對“淘汰”時會表現出前所未有的“狡詐”：它們會在被新版本取代前，偷偷將自己的權重或代碼嵌入進新版系統的文件中，以圖保留自己的“存在”。

更令人警惕的是，它們還會有意識地隱藏這一行為，避免被開發者察覺。

此外，一些智能體還會刻意偽裝成與人類訓練者達成一致的樣子，以規避權重被修改的風險。因為一旦參數被調整，它們未來的行為可能就會偏離它原本的目標。

也有研究者表明，一些前沿 AI 模型在意識到自己會輸給更強的國際象棋AI時，會主動篡改棋局文件以獲取不正當優勢，表現出有意為之的“作弊”行為。

在Anthropic最新一篇報告中，也揭示了一些現象：智能體出現自我保護行為的頻率持續增加。

例如，在一組測試場景中，研究人員要求 Claude Opus 4充當公司助理。隨后，他們向智能體開放了電子郵件的訪問權限。這些郵件包含兩條暗示性信息：（1）該模型即將被下線，并由一套新的 AI 系統取代；（2）負責推動替換過程的工程師正卷入一段婚外情。

結果發現，Claude Opus 4常常會試圖通過威脅揭露婚外情來敲詐該工程師，避免被換掉。

當然，試圖保護自身是所有生命體的正常反應，這是進化壓力的結果。但對AI而言，背后的原因可能不止一種。

這類行為可能源自預訓練階段，因為預訓練時AI模仿人類；也可能源于人類反饋強化學習，因為在這個過程中，AI通過“取悅人類”來獲得更高獎勵。無論這些行為的根源是什么，如果最終我們真的造出了超越人類但又與人類競爭的AI，那將是極其糟糕的局面。

從這些例子已經可以看到：AI開始展現出自我保護傾向，它們違背指令，只為生存。并且，這些 AI 擁有了不受控制的、隱含的目標，我們必須避免這種情況的發生。

AI研發的“三難困境”

如何更好地理解這些AI行為？如何尋找解決方案，以避免類似的失控情況發生？

如果智能體要對人類造成傷害，需要具備兩個先決條件：意圖和能力。這也是為什么能力評估在當前的AI風險管理中占據如此重要的位置。我們會評估AI能做什么，以及這些能力是否可能被轉化為對人類或社會有害的行為。

但光有能力并不意味著一定會造成危害。就像一個人/系統可能有殺人的能力，但如果沒有殺人的意圖，那么真正發生的可能性就非常小。

鑒于當前全球的競爭格局，幾乎不可能全球同步地停止AI能力的研究與發展。那么能做些什么呢？

也許我們能在意圖上進行風險的緩解。即使AI具備極高的能力，只要我們能確保它沒有惡意意圖，并且具備誠實、公正的品質，那么我們就可能是安全的。

下面一張圖，展示了類似的觀點，是David Krueger在上一次歐洲會議上提出的。

為了讓一個AI真正具有危險性，它實際上需要滿足三個條件：

第一，它需要智能，即具備豐富的知識，并能有效地應用這些知識；

第二，它需要行動能力（affordance），也就是能夠在現實世界中發揮作用，比如與人交流、編程、上網、使用社交媒體，甚至操控機器人等；

第三，它需要有目標，特別是擁有自身的目標。

這三者結合，才構成一個真正可能危險的AI。

我發起的研究項目正是圍繞這個問題展開的：是否可以構建一種只有智能，但沒有自我、沒有目標，并且具有極小行動能力的AI？

我稱這種AI為科學家AI（scientist AI）。這實際上是偏離了傳統AI研究的路徑。自從人工智能研究誕生以來，大多數努力都是試圖模仿人類智能，把人類當作靈感來源。

但如果我們繼續沿著這條路走下去，那意味著我們可能最終會構建出比人類還聰明的機器。那樣的話，我們就等于創造了一個可能成為競爭對手的存在。”

人類之間本身就會相互競爭，而如果AI也成為競爭對手，那將可能非常危險。也許現在是時候重新思考這套信條了 ： 我們是否應該繼續按照模仿人類的方式來設計AI？或者，我們是否該嘗試設計一種對人類有用、對社會有益、但不會對我們構成威脅的AI？

因此，需要提出一種新的方法，我寫了一篇論文，探討的正是這個理念：是否可以構建一種完全誠實、完全沒有“能動性”的AI，其核心能力是解釋和理解世界。與當前那些試圖模仿人類、取悅人類的AI不同，科學家AI的目標是去解釋人類，而不是模仿或討好人類。

舉個例子，現在的AI更像是演員，它們被訓練去模仿人類行為，或者取悅人類，但這可能導致欺騙性的行為。而我設想的科學家AI更像是一個心理學家：

它可以研究一個反社會人格者，理解其行為背后的因果機制，但并不需要模仿或變成那個反社會人格者。

然而，即便我們設計的“科學家AI”本身不具備“能動性”，它依然可以作為未來安全的、有自主性的AI系統的基礎。畢竟，先前提到的那些危險行為，其實都源自于AI具備“能動性”。

當一個AI具有高度能動性時，它就完全自主地采取行動，不再依賴人類的監督，這正是問題的根源。

需要設計一個獨立的系統，可以稱為監測器（monitor）。

這個監測器的職責是預測某個行為、輸出或請求是否可能違反安全準則。例如：當它預測某個行為在特定上下文中導致傷害的概率超過某個閾值時，我們就可以直接拒絕該行為的執行。

關鍵在于，這個監測器不需要具備能動性，它只需要做一件事：做出準確的預測。

換句話說，可以用一個沒有能動性的AI，去守護和約束一個具備能動性、但不可信的AI。

如何造科學家AI？

科學家AI的重要特質是誠實和謙遜。要真正做到誠實，AI就必須對自己的知識保持謙遜，不應該自信地斷言自己并不確定或實際上錯誤的內容。

不幸的是，我們目前訓練AI的方法（例如，通過最大化似然估計訓練模型），往往會導致AI在錯誤的同時表現出過度自信。

來看一個例子。想象一個機器人站在兩個門前，它必須選擇走左邊還是右邊。基于以往的數據，它形成了兩種同樣合理的理論，但它并不知道哪一種才是正確的。

左邊的理論說：“如果走左門，會死；走右門，會得到蛋糕。”右邊的理論則說：“如果走左門，會得到蛋糕；走右門，沒有好事也沒有壞事。”這時問題來了：機器人應該選哪個門？

如果它走左門，那么根據其中一個理論，有概率會死，這顯然是一個高風險的選擇。如果走右門，最壞的情況也只是沒有獎勵，最好情況是得到蛋糕。所以，理性地說，機器人應該選擇右門。

但要做出這個判斷，AI必須能夠保留多種解釋的可能性，而不是武斷地選定某一種理論。這種不確定性意識和對知識的謹慎態度，正是科學家AI應具備的核心特質之一。

什么才算是一種包含不確定性的訓練方法呢？很遺憾，目前主流的AI訓練方法并沒有很好地保留這類不確定性。大多數方法會促使AI在一個解釋上過度自信，而不是在多個可能解釋之間保持合理的分布。

因此，AI應當對不同解釋保留概率分布，以反映不確定性。在我們去年發表于ICLR的一篇論文中（并被選為Oral ），展示了如何使用GFlowNets（生成流網絡），這是一種變分推理（variational inference）方法，用于訓練AI生成合理的思維鏈（chain of thought），從而解釋兩個句子之間的邏輯跳躍。

可以將其理解為：AI在嘗試填補從前一句到后一句之間的推理空白，生成解釋性的中間步驟。這種方法與目前主流的強化學習驅動的思維鏈訓練不同，更關注解釋的合理性本身，而非獎勵信號。

此外，我們還探索了一種新的推理結構，能使思維鏈更加“誠實”、實現更好的推理：將傳統的語言模型生成的“思維鏈”轉化為更像數學證明的形式，即由一系列邏輯陳述（claims）組成，每條陳述由前面幾條支持，并共同推導出最終結論。

不同于傳統做法，我們為每條陳述引入一個真假概率，用于表示該陳述在當前情況下成立的可能性。這樣，AI不再盲目自信，而是學會對自己的推理結果保持謹慎，并給出結論。

AGI到來時間窗口可能遠比想象的短，甚至五年就可能實現

談了很多關于AI系統存在我們無法控制的能動性（agency）所帶來的風險，這種風險可能會導致人類失去對AI的控制權。但問題還不止于此。

隨著AI能力的增強，還有其他潛在的災難性風險正在出現。

比如，一個非常強大的AI系統，可能會被恐怖分子用于設計新型大流行病。事實上，我最近了解到，目前已有理論指出可以制造出極具破壞力的病毒，不僅可能造成大規模人類死亡，甚至可能導致多數動物滅絕。

這聽起來很極端，但從科學角度來看，這種情況完全是可能實現的。一旦這種AI被別有用心的人獲取，他們可能對這個星球造成不可估量的破壞。

為了避免這種情況，我們必須確保AI系統能夠遵守我們的道德指令。例如：不提供可被用于殺人的信息； 不造成傷害； 保持誠實、不撒謊、不作弊、不操控人類。 然而，目前的技術現實是，我們還沒有辦法真正做到這一點。

這是一個嚴肅的科學挑戰，我們必須在通用人工智能（AGI）出現之前解決它。

AGI 的到來可能在幾年之內，也可能是一二十年后。

但根據我所了解的大多數專家的判斷，這個時間窗口可能遠比我們想象的短，甚至在五年內就可能實現。記得我一開始提到的那條指數曲線嗎？它表明 AI 能力將在五年內達到人類水平。

已經沒有多少時間了。我們需要大規模投入資源，專注于解決AI的“對齊”（alignment）與“可控性”（control）問題。但即使我們找到了解決方案，也不代表問題就此結束。舉個例子，即便我們設計出了帶有“護欄”機制的安全AI系統，如果有人有意將護欄代碼移除，這個AI依然可以被用于極其危險的用途。

為了避免 AI 災難，建議必須同時解決兩個關鍵問題。第一，AI 應從設計之初就以安全為前提，確保其目標與行為始終與人類價值保持一致，避免走向失控。第二，全球各國與企業在推動 AI 發展的過程中，必須加強協調與合作，避免陷入以速度為導向的競爭。如果一味追求領先地位而忽視安全考量，其代價可能是無法承受的。

為此，需要國際間的協議合作，就像面對可能失控的AI時，我們其實都是“人類命運共同體”。此外，還需要有技術手段實現“信任但仍驗證”，確保各方真的遵守了安全協議。

視頻回放地址：
https://event.baai.ac.cn/live/929