圖靈獎得主Bengio再創業：啟動資金就籌集了3000萬美元

西風 2025-06-04 17:07:39 來源：量子位

西風 發自 凹非寺

量子位 | 公眾號 QbitAI

剛剛，深度學習三巨頭之一、圖靈獎得主Yoshua Bengio官宣再次創業——

成立非營利組織LawZero，要構建下一代AI系統，而且明確不做Agent。

目前LawZero已通過多家慈善捐贈方籌集到了3000萬美元啟動資金。

具體來說，LawZero要做“設計即安全（safe-by-design）”的AI系統，要“將安全性置于商業利益之上”。

所要做的AI系統非Agent形態，而可以監督Agent：

它以理解學習世界為核心目標，而非在世界中采取行動，通過透明化外部推理，對問題提供可驗證的真實答案，“可用于加速科學發現、為Agent型AI系統提供監督，并深化大家對AI風險及其規避方法的理解”。

Bengio表示，當前AI系統已顯現出自我保護和欺騙行為的跡象，隨著其能力和自主性的提升，這種趨勢只會加速，LawZero是他們針對這些挑戰所給出的建設性回應。

經常有人問我，對AI的未來是樂觀還是悲觀？我的回答始終是：It doesn’t matter（無關緊要）。

唯一重要的是，我們每個人都能采取行動，推動AI向更好的方向發展。

開創「Scientist AI」

LawZero總部位于蒙特利爾，最初由非營利機構Mila-Quebec AI Institute啟動孵化，Mila現已成為LawZero的運營合作伙伴。

LawZero所籌集的捐贈資金，也是在項目孵化階段通過Mila-Quebec AI Institute進行的。

其首批支持者包括Future of Life Institute、Open Philanthropy、Silicon Valley Community Foundation、前谷歌CEO Eric Schmidt創立的研究機構Schmidt Sciences等。

其中Open Philanthropy還是OpenAI的早期投資方。

Bengio擔任LawZero主席兼科學總監。

團隊中已有超15名頂尖研究員。

他們的科學方向基于Yoshua Bengio所引領的全新研究方法——Scientist AI。

幾個月前，Bengio曾發表過一篇長達58頁的論文探討Scientist AI。

Scientist AI核心功能基于觀測解釋世界，而非通過行動模仿或取悅人類。

該系統包含兩大組件：世界模型、推理機。

世界模型能夠通過觀察數據生成因果理論，以此解釋數據背后的規律，構建對物理與社會規律的結構化理解，其運作機制類似于科學家通過觀察自然現象提出假說并構建理論體系。

推理機則是一個問答推理機制。二者均以明確的不確定性概念為基礎，以降低因過度自信的預測引發風險的可能性。

Scientist AI輸出僅限于對問題的概率性解釋和基于理論的邏輯推斷，而不具備自主行動的能力，由此來從根本上杜絕因目標追求和環境干預引發的風險。

Bengio團隊表示，Scientist AI可在以下三個核心領域發揮作用：

作為對抗危險AI的安全護欄

針對表現出自我保護、目標偏離、欺騙等傾向的AI系統，Scientist AI可通過雙重驗證機制防范災難性后果。

在高能力Agent型AI執行現實行動前，對其行為進行風險評估，若超過預設閾值則直接阻斷。這一機制可有效遏制當前前沿AI因自主性增強而日益凸顯的不可預測性風險。

作為加速科學發現的可信工具

不“以取悅人類為訓練目標”，Scientist AI可生成誠實且可論證的解釋性假設，尤其在生物學、材料科學、化學等領域，可規避傳統AI因“目標對齊偏差”導致的研究風險，開啟低風險加速探索的新范式。

作為安全開發強AI的底層基建

可作為值得信賴的研究與編程工具，通過其透明化推理框架，為強AI的開發建立可審計的安全邊界，從源頭阻斷“欺騙性Agent”的風險傳導，助力設計安全的人類級智能，乃至安全的超級人工智能（ASI）。

職業生涯剩余時間全部投入AI安全

Bengio最新創業引來不少網友關注，也引起了網友對其上次創業的討論。

確實，Bengio并非第一次創業。

2016年10月，Bengio曾和Jean-FrancoisGagné等人聯合成立Element AI，主要聚焦“人工智能戰略咨詢”、“專家匹配”和“AI-as-a-Service”（AIaaS）。

Element AI曾一度成為“全球最大獨角獸”之一，僅僅成立9個月就籌集了1.02億美元的風險投資，不到4年時間里，融資約2.6億美元，微軟、英特爾、麥肯錫、加拿大政府等大型機構均為其資方，估值高達12億美元。

不過，令人唏噓的是，2020年Element AI傳來“僅以2.3億美元被拋售”的消息。《環球郵報》認為，這家公司大肆招聘頂尖人才、大量進行宣傳投資的行為，與它建立軟件業務的初衷背道而馳。

連Bengio本人都否定了Element AI的價值。

如今新項目啟動，Bengio其實預謀已久。

2023年初，ChatGPT剛剛問世幾個月，Bengio“AGI發展緩慢而漫長，需幾十年的時間才能實現”的觀點開始轉變。私人實驗室在AGI及更先進技術方面已經取得的進展，讓他感到擔憂。

之后Bengio徹底重新調整了科學研究方向：

職業生涯剩余的時間全部投入到緩解這些風險上，努力探索一條能從設計上讓AI變得安全的道路。

目前網友對LawZero持謹慎觀望態度，畢竟OpenAI最初也是以非營利組織起家……

更有評論者直言：

LawZero項目成功必然會將人類的主動權轉移給機器人，而這是應竭力避免的趨勢，而非加速推動。

OpenAI的非營利承諾早就變了味兒。現在，對這家圖靈獎得主扛大旗的非營利機構，你怎么看？

參考鏈接：
[1]https://lawzero.org/en/news/yoshua-bengio-launches-lawzero-new-nonprofit-advancing-safe-design-ai
[2]http://arxiv.org/pdf/2502.15657
[3]https://news.ycombinator.com/item?id=44174643