AI殺入斗地主領(lǐng)域，快手開發(fā)DouZero對標(biāo)AlphaZero，干掉344個AI獲第一
AI這牌打的也忒好咧
夢晨 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
AlphaGo在圍棋界大殺四方時就有人不服：有本事讓AI斗地主試試？
試試就試試。
快手團(tuán)隊(duì)開發(fā)的斗地主AI命名為DouZero，意思是像AlphaZero一樣從零開始訓(xùn)練，不需要加入任何人類知識。
只用4個GPU，短短幾天的訓(xùn)練時間，就在Botzone排行榜上的344個斗地主AI中排名第一。
而且還有在線試玩（鏈接在文章最后），手機(jī)也能運(yùn)行。
在線試玩中演示的是三人斗地主，玩家可以選擇扮演地主、地主的上家或下家。
選擇當(dāng)?shù)刂鱽硗嫱婵?，可以打開顯示AI手牌功能，更容易觀察AI決策過程。另外可以設(shè)置AI考慮時間，默認(rèn)是3秒。
在AI的回合，會顯示面臨的決策和每種打法的預(yù)測勝率。
有時可以看到AI并不是簡單地選擇當(dāng)前勝率最高的打法，而是有更全局的考慮。
斗地主對AI來說，很難
從博弈論的角度看，斗地主是“不完全信息博弈”。
圍棋是所有棋子都擺在棋盤上，對弈雙方都能看到的完全信息博弈。
而斗地主每個玩家都看不到其他人的手牌，對于AI來說更有挑戰(zhàn)性。
在棋牌類游戲中，雖然斗地主的信息集的大小和數(shù)量不如麻將，但行動空間有10^4，與德州撲克相當(dāng)，而大多數(shù)強(qiáng)化學(xué)習(xí)模型只能處理很小的行動空間。
斗地主的所有牌型總共有27472種可能。
像下圖的手牌就有391種打法。
且斗地主的行動不容易被抽象化，使搜索的計算成本很高，像Deep Q-Learning和A3C等強(qiáng)化學(xué)習(xí)模型都只有不到20%的勝率。
另外作為不對稱游戲，幾個農(nóng)民要在溝通手段有限的情況下合作并與地主對抗。
像撲克游戲中最流行的“反事實(shí)后悔最小化”(Counterfactual Regret Minimization)算法，就不擅長對這種競爭和合作建模。
全局、農(nóng)民和地主網(wǎng)絡(luò)并行學(xué)習(xí)
首先將手牌狀態(tài)編碼成4×15的獨(dú)熱(one-hot)矩陣，也就是15種牌每種最多能拿到4張。
DouZero是在Deep Q-Learning的基礎(chǔ)上進(jìn)行改進(jìn)。
使用LSTM(長短期記憶神經(jīng)網(wǎng)絡(luò))編碼歷史出牌，獨(dú)熱矩陣編碼預(yù)測的牌局和當(dāng)前手牌，最終用6層，隱藏層維度為512的MLP(多層感知機(jī))算出Q值，得出打法。
除了“學(xué)習(xí)者”全局網(wǎng)絡(luò)以外，還用3個“角色”網(wǎng)絡(luò)分別作為地主、地主的上家和下家進(jìn)行并行學(xué)習(xí)。全局和本地網(wǎng)絡(luò)之間通過共享緩沖區(qū)定期通信。
△學(xué)習(xí)者和角色的算法
DouZero在48個內(nèi)核和4個1080Ti的一臺服務(wù)器上訓(xùn)練10天擊敗了之前的冠軍，成為最強(qiáng)斗地主AI。
下一步，加強(qiáng)AI間的協(xié)作
對于之后的工作，DouZero團(tuán)隊(duì)提出了幾個方向：
一是嘗試用ResNet等CNN網(wǎng)絡(luò)來代替LSTM。
以及在強(qiáng)化學(xué)習(xí)中嘗試Off-Policy學(xué)習(xí)，將目標(biāo)策略和行為策略分開以提高訓(xùn)練效率。
最后還要明確地對農(nóng)民間合作進(jìn)行建模。好家伙，以后AI也會給隊(duì)友倒卡布奇諾了。
柯潔在圍棋被AlphaGO擊敗以后，2019年參加了斗地主錦標(biāo)賽獲得了冠軍。
不知道會不會有AI“追殺”過來繼續(xù)挑戰(zhàn)他。
在線試玩：
https://www.douzero.org
GitHub項(xiàng)目地址：
https://github.com/kwai/DouZero
論文地址：
https://arxiv.org/pdf/2106.06135.pdf
參考鏈接：
[1]https://www.sohu.com/a/285835432_498635
相關(guān)閱讀
4B小模型數(shù)學(xué)推理首超Claude 4，700步RL訓(xùn)練逼近235B性能 | 港大&字節(jié)Seed&復(fù)旦
一種用在高級推理模型上Scaling RL的后訓(xùn)練方法
