LLM強化學習新框架！UCSD多智能體訓練框架讓LLM工具調用能力暴增5.8倍

西風 2025-11-08 13:08:34 來源：量子位

PettingLLMs團隊 投稿

量子位 | 公眾號 QbitAI

大語言模型智能體的強化學習框架, 首次實現了通用的多智能體的“群體強化”。

在大語言模型（LLM）智能體的各種任務中，已有大量研究表明在各領域下的多智能體工作流在未經訓練的情況下就能相對單智能體有顯著提升。

但是現有的LLM智能體訓練框架都是針對單智能體的，多智能體的“群體強化”仍是一個亟須解決的問題。

為了解決這一領域的研究痛點，來自UCSD和英特爾的研究人員，提出了新的提出通用化多智能體強化學習框架——PettingLLMs。支持任意組合的多個LLM一起訓練。

研究背景

大語言模型驅動的多智能體系統在醫療、編程、科研、具身智能等多個領域均能大幅度提升任務表現。

為訓練大模型智能體，Group Relative Policy Optimization (GRPO) 已被驗證為通用的有效強化學習算法。然而，當前所有針對LLM的強化學習訓練框架，包括GRPO算法本身，都局限于單智能體訓練的范疇。多智能體間的協作優化，即“群體強化”的學習機制，仍然是一個亟待填補的空白。

GRPO算法的核心機制是，針對同一個輸入（prompt），通過多次采樣生成一組候選回答。隨后，算法在組內對這些回答進行評估（例如，通過一個獎勵模型），并計算它們之間的相對優勢。

這種優勢計算的有效性與公平性依賴于一個關鍵假設——組內所有用于比較的候選回答，都必須基于一個完全相同的上下文（即prompt）生成。

然而，將GRPO直接應用于多智能體（multi-agent）多輪（multi-turn）環境中存在一個核心困難。

在多智能體場景下，即使是針對同一個初始問題，不同智能體在不同輪次接收到的prompt差異顯著。

例如（如圖所示），一個負責編程的智能體，其在第二輪的prompt不僅包含原始問題，還可能融合了第一輪中自己生成的代碼以及其他智能體生成的單元測試。

因此，如果在MA環境中仍然簡單地將同一個初始問題產生的所有（跨輪次、跨智能體的）回答視為一個“group”來進行優勢計算，這就直接違反了GRPO所要求的“共同prompt”的核心假設。

這導致組內的優勢計算基準不統一，使得計算結果不再公平或有效。

所以核心問題就是，如何既保證每個組內有一定批次量的回答，又能保證優勢計算的公平。

方法概述

作者提出了一種greedy-search的樹狀采樣方法。

每輪次每個agent形成一個節點進行K個分支，在分支以后選擇此時reward最高的agent進行下一次分支。這樣能夠讓多智能體訓練能平衡好探索（exploration）與利用(exploitation)。

每一個agent的獎勵函數都考慮自身角色的獎勵和全局任務的獎勵來保證角色專屬能力和合作能力的進化。

對于多智能體的強化學習進化的另一個面臨一個核心的策略問題：在何種任務下，讓模型進化成不同角色的“專屬模型”（specialized models）？又在何種任務下，讓所有智能體共享一個“通用模型”（shared model）會更優？

為了實現兩種不同的訓練模式，作者搭建了如圖所示的異步分發訓練系統。

系統中的路由模塊負責收集多智能體系統在環境中交互產生的軌跡數據。

專屬模型模式下，系統可以配置多個獨立的模型資源池（如圖中的池i和池j）。路由模塊會將智能體i的數據批次僅發送給池i的更新單元，專門更新模型i；同時將智能體j的數據批次發送給池j的更新單元，獨立更新模型j。

而在共享模型模式中，相對地，路由模塊也可以將所有智能體的軌跡數據合并，并全部發送給同一個模型資源池的更新單元，以集中更新一個共享模型。

通用的多智能體強化學習框架：PettingLLMs

基于該項研究，作者開源了通用的多智能體強化學習框架，使得多智能體強化學習訓練開發變得敏捷、簡潔、優雅。

• 在作者現有的系統上搭建環境開發只需要任務特有的agent的交互和獎勵函數。同時，作者也給環境開發設計建立了詳細的環境開發教程。
• 已有的環境也已經包括了主流的agent任務比如數學、code、游戲等。
• 該框架支持不同模型和agent之間的任意映射。也支持每個agent適配不同的lora的方式。

實驗效果

在推箱子這種長規劃任務中，通過AT-GRPO訓練，兩個agent都得到了強化，任務性能從14%提升至96%。

作者在Qwen3-1.7B與Qwen3-8B兩個規模上開展了大規模實驗，覆蓋規劃（Sokoban、Plan-Path）、代碼（LiveCodeBench、APPS、CodeContests）與數學（AIME24/25、OlympiadBench）三大類任務。

實驗結果表明：

• 規劃類任務中，Sokoban從14%提升至96%，Plan-Path從47%提升至99.5%；
• 代碼生成任務中，LiveCodeBench提升+6.1%，APPS+4.2%，CodeContests+7.0%；
• 數學推理中，AIME 24提升+9.0%，AIME 25提升+17.9%。

消融實驗進一步驗證了關鍵設計——

只在單智能體（SA）里訓練，收益有限：把規劃/工具等子角色各自放在 SA 環境里訓練，單看各自指標會從 5.0% 提到11.0%/14.5%，但放回MAS聯合作業僅到16.0%。

互換角色策略會“崩盤”：把已經學成的兩個角色策略對調，準確率從96.0%→6.0%，說明兩位“隊友”學到的是互補但不可替代的能力。

協同越來越順、回合越來越少：訓練過程中兩位代理的學習回報同步上升，任務所需平均回合數持續下降——體現出更緊密的對齊與分工協作。

PettingLLMs通過支持通用的多智能體強化學習算法，讓多智能體一起學習一起進化，實現了跨任務、跨規模的通用強化學習算法。

論文：https://huggingface.co/papers/2510.11062
GitHub：https://github.com/pettingllms-ai/PettingLLMs