大模型讓智能體學(xué)會(huì)與人類合作，具身智能新成果來了

白交 2023-07-15 17:45:29 來源：量子位

來自馬薩諸塞大學(xué)阿默斯特分校和MIT-IBM Watson AI Lab的淦創(chuàng)團(tuán)隊(duì)

具身智能，已成為最火的研究方向之一。
在大模型加持下，智能體不光能聽懂人話，還學(xué)會(huì)相互合作或與人合作。

圖2展示了「共享信息」能力：Alice先向Bob分享自己找到的容器的位置信息，隨后Bob向Alice分享了目標(biāo)的的位置信息。

圖3展示了「向他人的行為提出建議」的能力：除了Alice和Bob互相分享自己的位置外，Bob還根據(jù)自己所掌握的信息向Alice提出了具體的行動(dòng)建議。

圖4展示了「向他人提出請(qǐng)求并回應(yīng)請(qǐng)求」的能力：Bob在容器已經(jīng)滿了的情況下發(fā)現(xiàn)了新的目標(biāo)物體，于是他請(qǐng)求Alice幫忙取走這個(gè)目標(biāo)物體。Alice在隨后的行為中確實(shí)幫忙取走了這個(gè)物體。

圖5展示了「推理」能力：Alice和Bob分別分享自己探索到的知識(shí)，然后Alice根據(jù)Bob提供的信息改變了策略，使用了更有效率的合作方式。

圖6還展示了大語言模型智能體各種令人驚訝的能力。包括：（a）進(jìn)行辯論與方案的選擇（b）提出與響應(yīng)請(qǐng)求（c）在能夠快速完成任務(wù)的情況下選擇不去交流（d）在需要幫助的情況下尋求幫助（e）共享信息

圖7展示了大語言模型智能體與人類合作也表現(xiàn)良好，通過與人類交流劃分了探索空間，從而快速完成了任務(wù)。

工作原理：（圖8 ）

該研究中的LLM智能體包含了觀察、信念、交流、推理和規(guī)劃五個(gè)模塊。
觀察模塊：在智能體從環(huán)境中接收到的高維原始信息中提取有效信息。
信念模塊：用來維護(hù)對(duì)環(huán)境和其他智能體的記憶。
交流模塊：利用大語言模型的理解能力和自由形式語言生成能力來生成溝通的內(nèi)容，借助精心設(shè)計(jì)的提示詞實(shí)現(xiàn)。
推理模塊：利用大語言模型的復(fù)雜推理能力，綜合前面模塊獲得的所有信息，進(jìn)行決策，決定包括是否溝通在內(nèi)的高層級(jí)的計(jì)劃。具體實(shí)現(xiàn)則是利用精心設(shè)計(jì)的提示詞將問題轉(zhuǎn)化為選擇題，并利用思維鏈技術(shù)更好的激發(fā)大語言模型推理能力。
規(guī)劃模塊：將推理模塊生成的高層級(jí)計(jì)劃轉(zhuǎn)化為環(huán)境可執(zhí)行的低層級(jí)動(dòng)作。
該研究來自馬薩諸塞大學(xué)阿默斯特分校和MIT-IBM Watson AI Lab的淦創(chuàng)團(tuán)隊(duì)，目前論文和開源代碼均已上線。
項(xiàng)目主頁：

https://vis-www.cs.umass.edu/Co-LLM-Agents
GitHub：

https://github.com/UMass-Foundation-Model/Co-LLM-Agents

版權(quán)所有，未經(jīng)授權(quán)不得以任何形式轉(zhuǎn)載及使用，違者必究。