人形AI捉迷藏驚煞網(wǎng)友：飛檐走壁純靠自學(xué)，表情豐富還會合作，姚班學(xué)霸吳翼參與

魚羊 安妮 發(fā)自 凹非寺

量子位 出品 | 公眾號 QbitAI

藍(lán)色小人努力隱藏，而紅色小人在復(fù)雜的地形中苦苦尋找，這場不是你死就是我活的對抗，不是CG動畫，而是：

OpenAI的智能體真的在玩捉迷藏。

這是一項(xiàng)正經(jīng)的研究，目的在于讓AI自己學(xué)會合作和對抗。而事先連游戲規(guī)則都不給，全靠AI自己去探索。

由于展示效果看起來優(yōu)秀得一塌糊涂，網(wǎng)友甚至開始懷疑OpenAI的身份了。

有推特網(wǎng)友表示：

實(shí)際上，OpenAI是一家動畫公司。

還有網(wǎng)友表示驚嘆：

哦買嘎，這制作質(zhì)量、背景環(huán)境、甚至智能體的面部表情等都很可愛。這到底是篇科學(xué)論文，還是迪士尼里的未來世界主題公園里開辟了一處AI新景點(diǎn)？

這項(xiàng)已經(jīng)開源的大型AI捉迷藏博弈研究中，場景炫酷，每一個智能體都有自己的想法：

團(tuán)隊(duì)之間相互協(xié)作，與外部進(jìn)行聯(lián)合對抗……

這些智能體是不是都有生命了？

AI怎么玩捉迷藏游戲？

在這個捉迷藏游戲中，小紅人是“鬼”，自帶小雷達(dá)，能滿場瘋狂追擊。

△紅鬼還能推開箱子

而小藍(lán)人的任務(wù)很簡單，就是跑。

比起自帶傳感器的鬼們，他們的技能是利用箱子這樣的物體制造障礙，還能將之鎖定。

起初，AI們完全不知道自己能做什么，只是出于“本能”逃跑、追逐。

但在2500萬次游戲之后，小藍(lán)人學(xué)會了通過移動箱子，建造庇護(hù)所，來保護(hù)自己不被發(fā)現(xiàn)。

魔高一尺道高一丈。又經(jīng)過了7500萬場比賽，紅鬼們會利用坡道闖進(jìn)庇護(hù)所了！

又吃了1000萬次虧之后，小藍(lán)人們再建庇護(hù)所，知道把坡道也順走了。

更厲害的是，AI們不只會單兵作戰(zhàn)，還學(xué)會了團(tuán)隊(duì)協(xié)作。

看看小藍(lán)人這個協(xié)作水平，那真是行云流水，無縫銜接，還很講究策略：

什么，你覺得地形太簡單？在將近5億次訓(xùn)練之后，AI們解鎖了更復(fù)雜的版本：

這群AI，可真是太秀了。

捉迷藏の奧義

再強(qiáng)調(diào)一次，以上不是CG，不是CG，不是CG。

這是來自O(shè)penAI的一項(xiàng)新研究。通過多智能體競爭，和捉迷藏這樣一個簡單的目標(biāo)，以及標(biāo)準(zhǔn)的強(qiáng)化學(xué)習(xí)算法，研究人員們發(fā)現(xiàn)，在沒有事先學(xué)習(xí)規(guī)則的情況下，AI們自己創(chuàng)造了一個自我監(jiān)督的自動課程（autocurricula）。

這其中，既包含多輪不同的緊急策略，也包括復(fù)雜的工具使用和團(tuán)隊(duì)協(xié)調(diào)。

所謂課程（curricula），可以被視為一系列挑戰(zhàn)。而自動課程（autocurricula）就是指，每個挑戰(zhàn)都是由系統(tǒng)本身產(chǎn)生的。（這一概念由DeepMind提出，論文地址見文末）

△AI們在訓(xùn)練過程中發(fā)現(xiàn)了多達(dá)六種獨(dú)特的策略

并且，環(huán)境變復(fù)雜，AI們的表現(xiàn)反而更加強(qiáng)大。與其他自我監(jiān)督的強(qiáng)化學(xué)習(xí)方法相比，這群AI的行為更像人類。

OpenAI稱之為無目標(biāo)探索。

AI們事先并沒有學(xué)過捉迷藏的游戲規(guī)則，而是憑借對游戲世界的理解自由發(fā)展。

為了實(shí)現(xiàn)這一點(diǎn)，研究人員利用了以實(shí)體為中心的觀察（observation），并采用注意力機(jī)制來捕獲對象層信息。

在設(shè)定的環(huán)境中，每個智能體都根據(jù)自身的觀察和隱藏內(nèi)存狀態(tài)獨(dú)立行動。

每個物體都會被嵌入，并通過一個有遮擋的剩余自注意塊（residual self attention block），在這其中，注意力集中在物體上，而不是隨著時間改變。

那些就在智能體面前，但并不在其視線之內(nèi)的物體則會被屏蔽掉，這樣智能體就捕捉不到它們的信息了。

智能體的策略是通過左右互搏（self-play）和近端策略優(yōu)化訓(xùn)練出來的。在優(yōu)化期間，智能體可以在其值函數(shù)中使用有關(guān)被遮擋物體和其他智能體的特權(quán)信息。

此外，大規(guī)模訓(xùn)練效果顯著。增加批量大小可以大大加快收斂速度，并且不會對樣本效率產(chǎn)生太大的影響。

這樣訓(xùn)練出來的AI，到底魯棒不魯棒呢？

光說不練假把式，不如來一套智力測試練練手。

OpenAI的研究人員設(shè)計(jì)了一套涵蓋五個基準(zhǔn)智力測試的考題，主要分為兩個領(lǐng)域：認(rèn)知和記憶。

• 物體計(jì)數(shù)任務(wù)：測試智能體是否對物體具有持久的感知（即，能理解即使無法察覺，事物仍然存在這一點(diǎn)）。
• 鎖定和返回：測試智能體是否可以在執(zhí)行新任務(wù)時記住其原始位置。
• 順序鎖定任務(wù)：4個箱子被按指定順序放置在3個沒有門的隨機(jī)房間中，但每個房間都有一個坡道。智能體必須在沒有進(jìn)行過觀察的前提下，按照特定順序鎖定所有的箱子。
• 藍(lán)圖構(gòu)建任務(wù)：智能體必須把房間中的箱子放到指定的四個目標(biāo)位置。
• 避難所建設(shè)任務(wù)：智能體必須在圓筒周圍用箱子造一個避難所。

結(jié)果表明，在鎖定和返回，順序鎖定和藍(lán)圖構(gòu)建這三個任務(wù)當(dāng)中，在捉迷藏環(huán)境中預(yù)訓(xùn)練過的AI，表現(xiàn)優(yōu)于基線方法。但在對象技術(shù)和住房建設(shè)方面表現(xiàn)得要差一些。

△藍(lán)線為在捉迷藏環(huán)境中預(yù)訓(xùn)練過的AI

不限于游戲場景

這項(xiàng)研究引發(fā)了大量網(wǎng)友圍觀，不到一天時間，推特已經(jīng)超過2000贊。

一位軟件工程師感慨，這項(xiàng)研究直戳智能體對齊問題（Alignment Problem）的難點(diǎn)，即使是在捉迷藏這種簡答的任務(wù)中，AI可能也有讓人意想不到的行為。

HackerNews上網(wǎng)友表示，更酷的是這項(xiàng)研究此后可用于真實(shí)世界的機(jī)器人，讓他們學(xué)習(xí)去克服挑戰(zhàn)。

OpenAI自己也站出來直言，這項(xiàng)研究帶動了四個方向的研究。

一是證明了在智能體決策中，多智能體自動課程是導(dǎo)致很多不同和混合相轉(zhuǎn)移的原因之一。

二是驗(yàn)證了，當(dāng)模擬真實(shí)物理環(huán)境中引導(dǎo)智能體行為時，多智能體自動課程可訓(xùn)練出類似人類的技能，比如借助工具達(dá)到目的。

三是，這項(xiàng)研究還提出了一個在開放環(huán)境中評價智能體的框架，以及一套有針對性的智能體智力測試。這對于之后的智能體研究有一定參考意義。

最后，這項(xiàng)研究還將環(huán)境與構(gòu)建環(huán)境的代碼進(jìn)行了開源，將鼓勵對基于物理環(huán)境的多智能體自動課程的進(jìn)一步研究。

簡單的規(guī)則、多智能體競爭以及標(biāo)準(zhǔn)的大規(guī)模強(qiáng)化學(xué)習(xí)算法，原來可以激勵智能體在無監(jiān)督方法下學(xué)習(xí)復(fù)雜的策略和技能。

而往前看看，研究的意義又不僅限于理論研究階段，或局限于游戲場景，而是會覆蓋到日常生活的方方面面。

外媒VentureBeat在報(bào)道時，引用了DeepMind哈薩比斯對游戲AI的看法：

游戲AI是通往通用AI的墊腳石。我們研究這些游戲的真正原因是，它是研發(fā)算法的一個非常方便的試驗(yàn)場。

我們正在開發(fā)一種算法，可以將其轉(zhuǎn)化到現(xiàn)實(shí)世界中來，用于解決真正具有挑戰(zhàn)性的問題，并幫助這些領(lǐng)域的專家。

無論是DeepMind還是OpenAI，在用游戲的方式訓(xùn)練出可以在真實(shí)場景里應(yīng)用的技術(shù)，又何嘗不是創(chuàng)造了一個小小世界呢。

姚班畢業(yè)生參與

這篇論文出自O(shè)penAI的Bowen Baker、Ingmar Kanitscheider、Todor Markov、Yi Wu、Glenn Powell、Bob McGrew和Google Brain的Igor Mordatch之手。

一作Bowen Baker本科與碩士都畢業(yè)于電氣工程與計(jì)算科學(xué)專業(yè)，自2017年12月開始就職于OpenAI，擔(dān)任研究科學(xué)家一職，主要針對多智能體領(lǐng)域進(jìn)行研究。

作者團(tuán)隊(duì)中還有一位年少有為的中國研究人員吳翼（Yi Wu），他是2010級清華大學(xué)姚班畢業(yè)生，又一華人圖靈獎得主姚期智教授的桃李門生。

作為“半國英才聚清華，而清華一半英才在姚班”的姚班一員，吳翼在本科期間就打卡了微軟、Facebook、今日頭條等互聯(lián)網(wǎng)大廠，實(shí)習(xí)經(jīng)驗(yàn)豐富。

2014年到2019年，吳翼奔赴加州大學(xué)伯克利分校，攻讀人工智能專業(yè)，主要研究方向?yàn)閷⑸疃葟?qiáng)化學(xué)習(xí)、自然語言處理和概率編程。

吳翼已經(jīng)在各類AI頂會上發(fā)表論文十多篇，IJCAI 16、AAAI 17、EMNLP 17、ICML 18、NIPS 18等會議都有他的研究出現(xiàn)，今年，吳翼還參與了兩篇AAAI 19 Oral論文的研究。

吳翼還在各項(xiàng)競賽中嶄露頭角，還是ACM/ICPC北美冠軍、世界總決賽銀牌，IOI2010銀牌得主。

清華大學(xué)交叉信息研究院網(wǎng)站和吳翼個人簡歷顯示，吳翼將于明年入職，這位28歲年少有為的學(xué)霸，將擔(dān)任清華大學(xué)交叉信息科學(xué)研究院的助理教授。

姚班出身，回歸姚班，不僅是收獲季節(jié)，也是一段薪火相傳的一段佳話。

吳翼個人履歷：

https://jxwuyi.weebly.com/contest-and-interest.html

傳送門

博客：

https://openai.com/blog/emergent-tool-use/

代碼：

https://github.com/openai/multi-agent-emergence-environments

HackerNews：

https://news.ycombinator.com/item?id=20996771

VentureBeat報(bào)道：

https://venturebeat.com/2019/09/17/openai-and-deepmind-teach-ai-to-work-as-a-team-by-playing-hide-and-seek/

論文Autocurricula and the Emergence of Innovation from Social Interaction: A Manifesto for Multi-Agent Intelligence Research：

https://arxiv.org/pdf/1903.00742.pdf

— 完 —