一個AI玩41個游戲，谷歌最新決策Transformer綜合表現分超DQN一倍
多任務學習新進展
Alex 發自 凹非寺
量子位 | 公眾號 QbitAI
谷歌AI宣布，在多任務學習上取得了巨大進展：
他們搞出一個會玩41款雅達利游戲的AI，而且采用的新訓練方法比起其他算法，訓練效率大大提升！
此前會玩星際爭霸的CherryPi和火出圈的AlphaGo都屬于單游戲智能體（Agent），也就是說，一個AI只會玩一種游戲。
多游戲智能體這邊，現有的訓練算法屈指可數：主要包括時間差分學習算法（Temporal Difference Learning，TD）和行為克隆（Behavioral Cloning，BC）等。
不過為了讓一個智能體同時學會玩多款游戲，之前的這些方法的訓練過程都很漫長。
現在，谷歌采用了一個新決策Transformer架構來訓練智能體，能夠在少量的新游戲數據上迅速進行微調，使訓練速度變得更快，而且訓練效果也是杠杠的——
該多游戲智能體玩41款游戲的表現綜合得分，是DQN等其他多游戲智能體的2倍左右，甚至可以和只在單個游戲上訓練的智能體媲美。
△ 100%表示每款游戲的人類平均水平，灰色條代表單游戲智能體，藍色條代表多游戲智能體
下面就來看看這個性能優秀的多游戲智能體。
新決策Transformer三大亮點
這個處理多款游戲學習的Transformer，采用了一個將強化學習（Reinforcement Learning，RL）問題視為條件序列建模的架構，它根據智能體和環境之間過去的互動以及預期收益，來指導智能體的下一步活動。
說到強化學習，其討論的主要問題是：在訓練過程中，一個面對復雜環境的智能體，如何通過在每個Time Step里感知當前狀態和Reward來指導下一步動作，以最終最大化累計收益（Return）。
傳統的深度RL智能體（如DQN、SimPLe、Dreamer等）會學習一個策略梯度（Policy Gradient），讓高Reward的軌跡出現概率變大，低Reward的軌跡出現概率變小。
這就導致它出現一些問題：即需要手動定義一個信息量很大的標量值范圍，包含針對于每個特定游戲的適當信息。這是個相當浩大的工程，而且拓展性較差。
為了解決這個問題，谷歌團隊提出了一個新方法。
訓練納入數據更多樣化
谷歌的這個新決策Transformer，把從入門玩家到高級玩家的經驗數據都映射到相應的收益量級（Return Magnitude）中。
開發者們認為，這樣可以讓AI模型更全面地“了解”游戲，從而讓其更穩定并提高其玩游戲的水平。
他們根據智能體在訓練期間與環境的互動，建立了一個收益的大小分布模型。在這個智能體玩游戲時，只需添加一個優化偏差來提升高Reward出現的概率。
此外，為了在訓練期間更全面地捕捉智能體與環境互動的時空模式，開發者還將輸入的全局圖像改成了像素塊，這樣模型就可以關注局部動態，以掌握游戲相關的更多細節信息。
△ 決策Transformer基本架構示意圖
可視化智能體訓練過程
此外，開發者們還別出心裁地將智能體的行為可視化。
然后他們發現，這個多游戲決策智能體一直都在關注著包含關鍵環境特征等重要信息的區域，而且它還可以“一心多用”：即同時關注多個重點。
△紅色越亮表示智能體對那塊像素的關注度越高
這種多樣化注意力分配也提高了模型的性能。
拓展性更好
如今規模已成為許多機器學習相關突破的重要驅動力之一，而規模拓展一般是通過增加Transformer模型中的參數數量來實現的。
研究者發現，這個多游戲決策Transformer也是類似的：隨著規模擴大，和其他模型相比，其性能提升顯著。
Facebook也在研究決策Transformer
谷歌AI使用決策Transformer不僅提高了AI玩多個游戲的水平，還提升了多游戲智能體的擴展性。
除此之外，據谷歌大腦、加州大學伯克利分校和Facebook AI Research合作的一篇論文介紹，決策Transformer架構在強化學習研究平臺OpenAI Gym和Key-to-Door任務上也表現出色。
或許決策Transformer正是通用人工智能（AGI）發展的關鍵因素之一。
對了，谷歌AI表示，相關代碼和Checkpoint會在GitHub上陸續開源，感興趣的小伙伴們可以去看看~
傳送門：
https://github.com/google-research/google-research/tree/master/multi_game_dt
參考鏈接：
[1]https://twitter.com/GoogleAI/status/1550260410686644224
[2]https://ai.googleblog.com/2022/07/training-generalist-agents-with-multi.html
[3]https://arxiv.org/abs/2106.01345
[4]https://zhuanlan.zhihu.com/p/354618420
- 空間智能卡脖子難題被杭州攻克！難倒GPT-5后，六小龍企業出手了2025-08-28
- 陳丹琦有了個公司郵箱，北大翁荔同款2025-08-28
- 英偉達最新芯片B30A曝光2025-08-20
- AI應用如何落地政企？首先不要卷通用大模型2025-08-12
