一次示范就能終身掌握！讓手機AI輕松搞定復雜操作丨浙大&vivo出品

LearnAct團隊投稿

量子位 | 公眾號 QbitAI

想讓手機AI像人類一樣快速學習？

浙大與vivo聯手突破！全新LearnAct框架僅需一次示范，就能教會AI完成復雜操作。

研究同步發布的LearnGUI基準，首次構建了面向移動端示范學習的評估體系，為AI智能體的實用化部署提供了關鍵技術支撐。

本文的作者來自浙江大學和vivo AI lab。本文的共同第一作者為浙江大學碩士生劉廣義和趙鵬翔，主要研究方向為大語言模型驅動的GUI智能體技術。項目leader 為vivo AI lab 算法專家劉亮。本文的通信作者為浙江大學孟文超研究員。

手機GUI智能體：潛力與挑戰并存

隨著大型語言模型（LLMs）的快速發展，手機圖形用戶界面（GUI）智能體作為一種能夠通過環境交互自主完成人類任務的前沿技術，正逐漸引發人們的關注。這些智能體通過觀察手機屏幕（截圖或UI Tree）感知手機狀態，并生成相應的動作（如點擊、輸入、滑動等）來實現任務自動化。

然而，手機GUI智能體在實際部署場景中仍面臨重大挑戰。

移動應用和用戶界面的多樣性創造了許多長尾場景，截至2025年僅Google Play上就有168萬個應用，現有智能體在長尾場景中難以有效執行任務。

目前主流的智能體構建方法依賴通用LLMs的內在能力或通過大量數據微調，但面對以數百萬的移動應用及數十億用戶各自獨特的任務需求，這些方法難以覆蓋如此龐大的多樣性，導致在未見場景中表現不佳，阻礙了手機GUI智能體的廣泛應用。

從「示范中學習」的新范式

為解決上述限制，浙江大學和vivo AI lab聯合提出了LearnAct多智能體框架和LearnGUI基準致力于通過「少樣本示范學習」解決手機GUI智能體的「長尾問題」。

與傳統方法不同，這種基于示范的方法能夠在少量用戶提供的示例基礎上實現穩健性和個性化，從而彌合預訓練模型無法覆蓋的“個性化鴻溝”。

實現結果表明，單個示范就能使Gemini-1.5-Pro的準確率從19.3%提升至51.7%，UI-TARS-7B-SFT的在線任務成功率從18.1%提升至32.8%。LearnAct多智能體框架和LearnGUI基準的提出為設計更加智能、更加個性化的手機 GUI 智能體開辟全新的方向，讓我們的手機操作變得更加便捷、高效。

研究團隊認識到，手機用戶通常有獨特且重復性的任務，同時具有內在變化性——例如智能家居控制、健康監測或企業軟件。

這些場景結合了穩定模式和可變元素，通過用戶特定的示范，該方法使智能體能夠學習一致模式和適應策略，獲取一般訓練數據集無法覆蓋的任務特定知識。

LearnGUI：首個專為研究示范學習設計的基準

為填補高質量示范數據的空白，研究團隊構建了LearnGUI基準。

這是首個專為研究移動 GUI 代理從少量示范中學習能力而設計的基準?；?strong>AMEX和AndroidWorld構建，LearnGUI 包含 2,252 個離線少樣本任務和 101 個在線任務，均附帶高質量人類示范。

該基準不僅支持對不同數量示范對代理性能影響的研究，還系統分析了示范任務與目標任務之間不同類型相似性（指令相似性、UI 相似性和動作相似性）對學習效果的影響。

LearnAct：多智能體框架自動理解和利用示范

研究團隊進一步提出了LearnAct多智能體框架，能夠自動理解人類示范、生成指導性知識，并使用這些知識幫助手機GUI智能體推理未見場景。LearnAct由DemoParser、KnowSeeker和ActExecutor三個專業智能體組成。

DemoParser智能體將原始的人類示范轉化為結構化的示范知識。

它以原始動作序列（包括基于坐標的點擊、滑動和文本輸入等）以及相應的屏幕截圖和任務指令作為輸入。

隨后，它利用視覺-語言模型生成具有語義描述性的動作描述，捕捉每個演示步驟的本質（例如，“在搜索頁面上，點擊搜索框，輸入關鍵詞”）。

基于這些描述，它構建了一個結構化的知識庫，記錄了高層次的動作語義。

KnowSeeker智能體是LearnAct框架中的檢索組件，負責識別與當前任務上下文最相關的演示知識。

KnowSeeker充當由DemoParser生成的知識庫與ActExecutor執行環境之間的橋梁，專精于高效地訪問和選擇針對特定任務最適用的知識。

ActExecutor智能體是LearnAct框架中的執行組件，它將檢索到的演示知識轉化為目標環境中有效的操作。

ActExecutor是LearnAct流程的最終環節，它整合了用戶指令、實時的圖形用戶界面感知信息以及演示知識，能夠熟練的操作長尾場景下的手機界面。

當DemoParser創建結構化知識，而KnowSeeker檢索到相關的演示后，ActExecutor則運用這些知識來解決實際任務。

這種多智能體架構使LearnAct能夠系統地從人類示范中提取、檢索和利用知識，通過最少的示范實現對新場景的有效適應。

實驗結果：示范學習顯著提升性能

實驗結果揭示了示范學習對手機GUI智能體能力的顯著增強。

在離線評估中，單個示范就能大幅提升模型性能，最引人注目的是Gemini-1.5-Pro的準確率從19.3%提升至51.7%（相對提升198.9%）。

在復雜應用如CityMapper和To-Do應用中，性能提升尤為明顯，分別從14.1%提升至69.4%和從17.4%提升至69.2%。

在真實世界的在線評估中，LearnAct框架表現出色。

下表展示了在LearnGUI-Online基準上的在線評估結果，LearnAct 框架顯著提升了所評估的兩種模型的性能，其中 Qwen2-VL-7B從 9.9% 提升至 21.1%（+11.2%），UI-TARS-7B-SFT從 18.1% 提升至 32.8%（+14.7%）。

這些顯著的提升表明，基于示范的學習方法能夠有效地轉化為現實交互場景中的優勢。

下圖中給出了LearnAct和Baseline方法在ExpenseDeleteMultiple任務上的表現。

在這樣的長尾場景下，Baseline方法中GUI 智能體無法正確規劃任務執行路徑最終以失敗告終。

相比之下只需要給出一個演示案例，LearnAct框架就能自動識別ExpenseDeleteMultiple任務中的執行模式并進行學習，面對相似的任務與不同的UI界面，順利完成了操作任務。

結論：示范學習引領手機GUI智能體發展新方向

這項研究提出的基于示范學習的新范式，為應對手機GUI智能體的長尾挑戰開辟了新路徑。

作為首個全面的示范學習研究基準，LearnGUI與LearnAct多智能體框架，有力證明了示范學習在開發更具適應性、個性化和實用性的手機GUI智能體方面的巨大潛力。

隨著移動設備在現代生活中的廣泛應用，這種能夠從少量示范中高效學習的方法，為打造真正智能的手機助手奠定了堅實基礎，讓我們在現實世界中距離科幻電影中“J.A.R.V.I.S.”般的智能體驗更近一步。

論文地址：
https://arxiv.org/abs/2504.13805
項目地址：
https://lgy0404.github.io/LearnAct/
GitHub：
https://github.com/lgy0404/LearnAct
HuggingFace：
https://huggingface.co/datasets/lgy0404/LearnGUI