阿里智能體多輪推理超越GPT-4o，開源模型也能做Deep Research

夢晨 2025-06-06 15:59:00 來源：量子位

WebDancer團隊 投稿
量子位 | 公眾號 QbitAI

能夠完成多步信息檢索任務，涵蓋多輪推理與連續動作執行的智能體來了。

通義實驗室推出WebWalker（ACL2025）續作自主信息檢索智能體WebDancer。

WebDancer 通過系統化的訓練范式——涵蓋從數據構建到算法設計的全流程——為構建具備長期信息檢索能力的智能體提供了明確路徑。

同時，該框架也為在開源模型上復現Deep Research系統提供了可行的指導。團隊將進一步在更開放的環境中、結合更多工具，持續拓展和集成Agentic能力，推動通用智能體的落地與演進。

一、背景：信息檢索的新需求與挑戰

在信息爆炸的時代，傳統的搜索引擎已難以滿足用戶對深層次、多步驟信息獲取的需求。從醫學研究到科技創新，從商業決策到學術探索，復雜問題的解決需要深入的信息挖掘和多步推理能力。這催生了對能夠自主思考、自主決策的智能體的需求。

然而，構建這樣的智能體面臨諸多挑戰：

• 理解復雜網頁內容：
• 智能體需要具備解析和理解多樣化網頁結構和內容的能力。
• 多步決策與推理：
• 能夠進行任務分解、知識回溯和反復驗證，完成復雜的信息檢索任務。
• 適應開放動態環境：
• 面對不斷變化的網絡環境，智能體需要具備強大的適應能力。
• 自主行動：
• 智能體應能自主采取行動并進行自我修正。

二、突破訓練數據難獲得問題

在自主信息檢索領域，高質量的訓練數據至關重要。然而，現有的數據集如2WIKI，HotpotQA多為淺層次問題，難以支持復雜多步推理的訓練需求。

為解決數據稀缺問題，WebDancer提出了兩種創新的數據合成方法：

• CRAWLQA：通過模擬人類瀏覽行為，從權威網站（如arXiv、GitHub、Wikipedia等）中爬取網頁信息，生成復雜的問答對，確保數據的多樣性和真實性。這一技術方案與中稿在ACL2025的WebWalker類似。
• E2HQA：采用“由簡到難”的策略，從簡單問題出發，逐步增加問題的復雜度，構建多步推理的問答對，促進智能體能力的逐步進化。為了保證QA對的合法驗證保持答案不變，對問題進行改寫。

ReAct框架與思維鏈蒸餾

ReAct框架是WebDancer 的基礎。一個ReAct軌跡包含多個思考-行動-觀察 (Thought-Action-Observation) 循環。智能體生成Thought（自由形式的思考），Action（結構化的行動，用于與環境工具互動），并接收Observation（來自環境的反饋）。這個過程迭代進行，直到任務完成，最終行動是 answer。可能的行動包括search，visit和answer。

思考鏈 (Chain-of-Thought, CoT) 對于智能體的執行至關重要，它使得高層工作流規劃、自我反思、信息提取和行動規劃成為可能。

論文探索了構建短CoT和長CoT的方法。對于短CoT，直接使用強大的模型（如 GPT-4o）在ReAct框架下生成軌跡。對于長CoT，則順序地向推理模型 (LRM) 提供歷史行動和觀察，讓其自主決定下一步行動，并記錄其中間推理過程作為當前的Thought。

在獲得問答對后，WebDancer利用ReAct框架，結合閉源的GPT-4o和開源的QwQ模型，進行長短思維鏈的蒸餾，生成高質量的agentic數據。這種方式簡潔高效，滿足了對Agentic Model的需求。

數據過濾與質量提升

為了確保數據質量，WebDancer采用了多階段的數據過濾策略：

• 有效性控制：
• 剔除不符合指令的數據。
• 正確性驗證：
• 僅保留結果正確的數據。
• 質量評估：
• 通過規則過濾掉出現嚴重repetition或思考冗余的數據，確保數據的多樣性和邏輯性。

這些嚴格的過濾策略，確保了訓練數據的高質量，為智能體的高效學習提供了保障。

三、解決開放網絡環境難訓練

在開放環境中訓練智能體是一項極具挑戰性的任務。網絡環境的動態變化和部分可觀測性，使得智能體需要具備強大的適應能力和泛化能力。

為應對這些挑戰，WebDancer采用了兩階段的訓練策略：

• 監督微調（SFT）
• 在高質量軌跡數據上進行微調，使智能體快速適應任務需求，掌握在復雜環境中進行推理和決策的能力。為了避免外部反饋（Observation）的干擾，損失函數會屏蔽掉 Observation 的貢獻，只計算智能體自主決策步驟（Thought 和 Action）的損失。這已被證明能提高性能和魯棒性。
• 強化學習（RL）
• 通過與環境的交互，智能體不斷試錯，學習在復雜多變的環境中做出最優決策。WebDancer采用了先進的DAPO算法，動態采樣未被充分利用的數據對，提高數據效率和策略的魯棒性。DAPO 通過最大化一個目標函數來進行策略更新，該目標函數考慮了候選軌跡的獎勵和優勢項。優勢項基于批次內的原始獎勵值進行歸一化計算。

WebDancer通過動態采樣機制，優先采樣那些未被充分利用的數據對，確保數據的高效利用，增強了智能體的泛化能力。

強化學習階段的高計算成本和時間開銷一直是開放環境訓練的一大難題。WebDancer通過優化算法和硬件資源的高效利用，顯著降低了強化學習的成本。

四、實驗與結果

WebDancer的創新策略在多個信息檢索基準測試中得到了充分驗證。

GAIA 數據集

GAIA數據集旨在評估通用人工智能助手在復雜信息檢索任務上的表現。WebDancer在GAIA數據集上的表現尤為突出，在不同難度的任務中均取得了高分，展現了其強大的泛化能力。

WebWalkerQA 數據集

WebWalkerQA數據集專注于深度網絡信息檢索。WebDancer在該數據集上的表現同樣出色，尤其是在中等難度和高難度任務中，其性能提升更為明顯。

表現最佳的模型在GAIA基準測試中達到了61.1%的Pass@3分數，在WebWalkerQA基準測試中達到了54.6%的Pass@3分數。

BrowseComp 數據集

在更具挑戰性的BrowseComp（英文）和BrowseComp-zh（中文）數據集上，WebDancer同樣展現出了強大的性能，進一步證明了其在處理復雜信息檢索任務方面的魯棒性和有效性。

五、深入分析：Agent模型的訓練

實驗一分析：

強化學習（RL）在提升普通指令模型（Instruction Model）性能方面表現顯著，尤其在提升Pass@1采樣準確率方面效果突出，其效果甚至可接近Pass@3。

然而，對于如QwQ這類以推理為核心的模型，RL的提升效果相對有限，主要體現在采樣結果的穩定性上。這一差異可能與agentic 任務中決策軌跡較長、推理過程更復雜有關。

實驗二分析：

Agentic數據的質量遠比數量更為關鍵。

團隊在QwQ模型上僅使用約6000條高質量、具備長思維鏈的訓練數據，就在GAIA任務中取得了優異的效果，表明精細構造的思維軌跡在復雜任務中的價值遠高于海量但粗糙的數據。

實驗三分析：

長短思維鏈的模式在不同類型模型之間并不具備良好的可遷移性。

盡管長思維鏈對指令模型和推理模型均能帶來性能提升，但其同時也顯著增加了非法生成（如重復內容）的概率，尤其在參數規模較小的模型上更為嚴重。這表明在設計長思維鏈訓練數據時，需要在有效性與體驗感之間做好平衡。

六、未來展望

更多工具的集成

目前，WebDancer僅集成了兩種基本的信息檢索工具，未來計劃引入更多復雜的工具，如瀏覽器建模和Python沙盒環境，使智能體能夠執行更復雜的任務。

任務泛化與基準擴展

目前的實驗主要集中在短答案信息檢索任務上，未來WebDancer將擴展到開放域的長文本寫作任務，對智能體的推理能力和生成能力提出更高的要求。

在本研究中，致力于從頭訓練一個具備強大Agent能力的模型，重點探索如何在開源體系中構建高效的Agentic模型架構。這不僅有助于推動智能體模型的開源進程，也對于理解智能體在開放環境中如何涌現與擴展（scale）其能力具有基礎性意義。

采用原生的ReAct框架，強調簡潔性與通用性，體現了“大道至簡”的工程理念。所謂Agentic模型，指的是那些天生支持推理、決策及多步工具調用的基礎模型（foundation models）。能夠僅憑任務描述提示，即可展現出如規劃、自我反思、行動執行等一系列突現能力（emergent capabilities），從而在交互式環境中表現出近似智能體的行為。

近年來，系統如DeepSearch和DeepResearch顯示出強大底層模型如何作為智能體核心，通過其原生支持的工具調用與迭代式推理，完成自主的網絡環境交互。然而，考慮到網絡環境的動態性與部分可觀測性，強化學習（RL）在提升智能體的適應性與魯棒性方面起到了關鍵作用。

因此，團隊的目標是通過針對性的后訓練（post-training），在開源基礎模型中激發出更具通用性與自主性的Agent能力，從而為構建可持續、可控的智能體生態奠定基礎。

論文鏈接：https://arxiv.org/pdf/2505.22648
代碼鏈接：https://github.com/Alibaba-NLP/WebAgent