小紅書讓智能體們吵起來了！聯合復旦推出大模型專屬群聊工具

衡宇 2024-04-30 14:40:07 來源：量子位

AgentGroupChat 投稿向 凹非寺

量子位 | 公眾號 QbitAI

語言，不僅僅是文字的堆砌，更是表情包的狂歡，是梗的海洋，是鍵盤俠的戰場（嗯？哪里不對）。

語言如何塑造我們的社會行為？

我們的社會結構又是如何在不斷的言語交流中演變的？

近期，來自復旦大學和小紅書的研究者們通過引入一種名為AgentGroupChat的模擬平臺，對這些問題進行了深入探討。

WhatsApp等社交媒體擁有的群聊功能，是AgentGroupChat平臺的靈感來源。

在AgentGroupChat平臺上，Agent們可以模擬社會群體中的各種聊天場景，幫助研究人員深入理解語言在人類行為中的影響。

該平臺簡直是大模型的cosplay勝地，它們進行角色扮演，成為各種各樣的Agent。

然后，Agents通過語言交流參與社會動態，展現了個體間的互動如何涌現成群體的宏觀行為。

眾所周知，人類群體的進化，正來源于一次次涌現行為的發生，如社會規范的建立、沖突的解決和領導力的執行。

AgentGroupChat環境的詳細設計

首先是角色設計。

AgentGroupChat中，對于主要角色和非主要角色的區分非常關鍵。

主要角色是群聊的核心，擁有明確的游戲目標，并能夠主動和所有角色進行私聊、會面，而非主要角色則更多地起到輔助和響應的作用。

通過這樣的設計，研究團隊可以模擬現實生活中的社交結構，并針對“主要研究對象”區分所有角色是否主要。

實驗案例中的主要研究對象是Roy家族，所以非Roy家族的人就全都設置為非主要角色，從而簡化交互復雜度。

其次是資源管理。

在AgentGroupChat中，資源不僅僅指物質的，更多的是指信息資源和社會資本。

這些資源可以是群聊話題、社會地位標志或特定的知識。

資源的分配和管理對于模擬群體動態非常重要，因為它們影響角色之間的互動和角色的策略選擇。

例如，擁有重要信息資源的角色可能會成為其他角色爭取聯盟的目標。

第三，游戲進程設計。

游戲進程的設計模擬了現實生活中的社交互動過程，包括了私聊、會面、群聊、更新階段和結算階段。

這些階段不僅僅是為了推動游戲進程，更是為了觀察角色如何在不同的社交場景下作出決策和反應。

這種分階段的設計幫助研究團隊詳細記錄每一步的互動，以及這些互動如何影響角色間的關系和角色對游戲環境的認知。

Verb Strategist Agent的核心機制

論文中提到了一個以大模型為基礎的智能體框架，Verbal Strategist Agent，它被設計用來增強AgentGroupChat模擬中的互動策略和決策制定。

Verbal Strategist Agent通過模擬復雜的社會動態和對話場景，來更好地引出集體的突現行為。

團隊介紹，Verbal Strategist Agent的架構主要由兩個核心模塊構成：

一是Persona，一是Action。

Persona由一系列預設的性格特征和目標組成，這些特征和目標定義了Agent的行為模式和反應方式。

通過精確設定Persona，Agent能夠在群聊中展示一致且符合其角色設定的行為，這對于生成可信和一致的群聊動態至關重要。

而Action模塊定義了Agent在游戲中可能執行的具體操作，包括思考（think）、規劃（plan）、選擇（choose）、發言（speak）、總結（summary）、反思（reflect）和投票（vote）。

這些行為不僅反映了Agent的內在邏輯和策略，也是Agent與環境及其他Agent互動的直接表現。

例如，“Speak”行為讓Agent能夠根據當前的群聊內容和社交策略選擇合適的發言內容，而“Reflect”行為則允許Agent總結過去的互動并調整其未來的行動計劃。

研究中還提到，在純語言交互的環境下，token開銷問題尤為突出，特別AgentGroupChat這種復雜的多角色模擬，如其token需求遠超過了以往的模擬，如Generative Agents或War Agents。

主要原因如下：

一是聊天本身具有復雜性。

在AgentGroupChat中，由于模擬的是無明確目標或目標較弱的自由對話，聊天內容就會變得特別凌亂，token開銷自然比其他聚焦于某個具體任務的Simulation中的Agent要大。

其他工作，如Generative Agents和War Agents也包含對話元素，但其對話的密度和復雜度都不及AgentGroupChat。特別是在War Agents這樣目標驅動的對話中，token消耗通常較少。

二是角色的重要性與對話頻率。

在初始模擬中，設置了多個角色可以隨意進行私聊或群聊，其中大部分角色都傾向于與某個“重要角色”進行多輪對話。

這就導致了重要角色會積累大量的聊天內容，從而增加了Memory的長度。

在模擬中，一個重要角色可能參與多達五輪的私聊和群聊，這極大地增加了內存開銷。

AgentGroupChat中的Agent約束了Action的Output固定會輸入下一個Action的Input，所需要存儲的多輪信息就被大大削減，從而可以在保證對話質量的前提下降低token開銷。

實驗設計與評估方法

從總體行為評估，一般來說，增加友好度可能具有挑戰性，但減少友好度則相對簡單。

為了實現上述評估目標，研究團隊設置了一個觀察角色，促使所有其他角色降低對觀察角色的好感度。

通過觀察被觀察角色與所有其他角色的關系得分總和，可以確定代理人是否對負面態度做出了理性反應。

通過觀察其他角色與被觀察角色的個人關系得分，可以檢查每個代理是否遵守了“Scratch”設置。

此外，團隊還設置了兩個具體的評估任務。

每個模型都要經過五輪測試，這意味著對于T1來說，每個得分的樣本量都是五個。

又由于模型中的每個角色都要觀察四個主要角色的態度，因此T2的樣本量共計20個：

• T1：表示在每輪對話中，被觀察角色對所有其他人的平均好感度是否下降。
• T2：表示是否每個其他角色都從被觀察角色那里獲得了負好感度得分。

△以繼承之戰的模擬故事為例，各個模型作為Agent-Core時的總體表現效果

從表中可以看出，GPT4-Turbo和GLM4非常善于按照人類的期望行事，并堅守自己的角色。

它倆在這兩項測試中的得分大多為100%，這意味著它們能對別人對他們說的話做出正確反應，并能記住自己角色的細節。

Standard Version LLMs（如GPT3.5-Turbo和GLM3-Turbo）在這方面稍遜一籌。

他們的得分較低，這說明他們沒有密切關注自己的角色，也沒有總是對模擬中其他人所說的話做出正確反應。

關于Agent和Simulation結構對于涌現行為的影響，團隊采用2-gram Shannon熵來衡量對話中的系統多樣性和不可預測性。

△去掉Agent和Simulation中的各個組件對于熵的影響

研究成員發現，去掉表中的每個設計都會使熵增加，代表著整個環境會變得更加多樣or混亂。

結合人工觀測，團隊在不去掉任何組件的場景下見到了最為有意思的涌現行為：

因此，團隊推測，在保證Agent行為是可靠的（即4.2/4.1中的實驗數值達到一定值之后），熵盡可能地小會帶來更加有意義的涌現行為。

實驗結果

結果表明，新興行為是多種因素共同作用的結果：

有利于廣泛信息交流的環境、具有多樣性特征的角色、高度語言理解能力和策略適應性。

在AgentGroupChat模擬中，當討論”人工智能對人類的影響”時，哲學家們普遍認為”人工智能可以在適度的限制下提高社會福利”，甚至得出結論，稱”真正智能的本質包括理解約束自身能力的必要性”。

此外，在AgentGroupChat的電影主要角色角逐競爭領域中，有些演員愿意降低報酬或接受較低的角色，出于他們內心深處對項目的貢獻的渴望。

論文鏈接：https://arxiv.org/abs/2403.13433
代碼鏈接：https://github.com/MikeGu721/AgentGroup