懶人福音！谷歌讓機器訓練機器，用大語言模型定制你的家務機器人
垃圾分類也能輕松搞定
克雷西 發自 凹非寺
量子位 | 公眾號 QbitAI
能根據你的喜好定制的家務機器人，來了！
想把深色衣服和淺色衣服分開洗？沒問題，機器人分分鐘就能幫你分好類：
被垃圾分類的問題搞得焦頭爛額？沒關系，也交給機器人來做：
總之，分類識別、定向放置……一切都憑你的習慣。
更關鍵的是，利用大語言模型，不需要大量數據，也無需場景化學習，幾句話就能輕松調教。
這款整理機器人名為TidyBot，由谷歌與美國多所高校聯合打造，通訊作者來自普林斯頓大學。
讓機器訓練機器
對于物品整理機器人的定制，最難的一環就是用戶偏好的分析。
傳統上，這類信息需要通過海量的數據分析才能得到。
而TidyBot是使用LLM分析用戶喜好信息的。
用戶給出的具體實例，比如依據顏色將不同服飾分別放入衣柜和抽屜，會被轉換成Python風格的LLM提示信息。
最后的概述是由LLM反饋的，具體到這個例子當中，LLM生成了如下結論：
該結論在接下來的環節中會被用于判定未知物品應該被放到哪里，前一步的輸出結果在這里作為提示的開頭。
然后，LLM會輸出幾個新顏色襯衫和襪子的放置位置。
除了放置的位置，LLM也能分析其他操作信息，比如是需要“放”還是“扔”（下方Summary中的內容由LLM生成）。
同樣的，使用LLM總結出的信息可以判斷應對未知物體執行何種操作。
其他動作信息原理也都相同。
有了LLM給出的信息，接下來就要應用到實際工作中了。
TidyBot的系統中預置了很多物品的分類標簽，LLM指令的執行方式也已經由程序設定。
TidyBot首先讓圖像識別模塊判斷出物品的基本信息，然后傳給LLM生成指令，并交付執行。
△TidyBot工作流程示意圖
由于只有極少量的數據需要進行區分，TidyBot具有很強的魯棒性。
同時，它能對來自任意用戶的任何物品進行分類，又有很強的靈活性。
基準測試成績亮眼
除了TidyBot本身，測試基準數據集也是該團隊的另一重要貢獻。
該數據集包含了96組以文本形式描述的任務場景，具體包括已知和未知操作方式的物品和相應的容器。
在每個場景中，容器的數量為2-5個，已知操作方式的物品數量為4-10個，未知物品數量與已知相同。
這96個場景涵蓋了客廳、臥室、廚房和儲藏室四種房間類型，每個類型24組。
△測試數據集節選，完整版可從GitHub中獲取
實際環境中，由于對物品分類的方式多種多樣，團隊分別從不同分類角度對TidyBot的表現進行了測試，具體包括：
- 物品大類，如“服裝”和“玩具”
- 物品屬性，如“金屬材質”和“塑料材質”
- 物品功能，如“夏裝”和“冬裝”
- 物品子類，如“襯衫”和“其他服裝”
- 復合類型，如“圖書和玩具”
整體上，TidyBot的準確率達到了91.2%，超過了WordNet、RoBERTa等其他方式。
具體分類角度上的結果也是如此。
上述數據只是在理論層面對TidyBot的分類能力進行測試。
在實際應用中，TidyBot的表現同樣不俗。
團隊一共搭建了8個真實場景。
△測試使用的真實場景
每個場景各包括10件物品、2-5個容器和4-10條已知信息。
△測試中使用的容器和未知物品
每個場景都進行了重復測試，最終各測試了3次，即一共10*8*3=240次操作。
在這240次操作中，TidyBot的正確率達到了85%。
論文地址：
https://arxiv.org/abs/2305.05658
項目主頁：
https://tidybot.cs.princeton.edu/
GitHub頁面：
https://github.com/jimmyyhwu/tidybot/
- 14歲華人小孩，折個紙成美國天才少年2025-12-06
- 智能體A2A落地華為新旗艦，鴻蒙開發者新機遇來了2025-12-06
- 《三體》“宇宙閃爍”成真！免佩戴裸眼3D屏登Nature2025-12-06
- ROCK & ROLL！阿里給智能體造了個實戰演練場 | 開源2025-11-26
相關閱讀
