本文提出了一种基于LLM的代理编排机器人系统，通过模块化任务规划和RAG记忆检索实现家庭环境中长程任务的自主执行，并在三个场景中展示了较高的任务规划准确率和记忆召回改进。
Large Language Model, Task Planning, Memory Retrieval, Robotics, Agent, Multimodal Systems
Marc Glocker, Peter Hönig, Matthias Hirschmanner, Markus Vincze
TU Wien, AIT Austrian Institute of Technology
Generated by grok-3
Background Problem
尽管机器人技术和人工智能近年来取得了显著进展，但机器人在适应真实世界家庭环境中多样化、动态变化的情况时仍面临挑战。传统的符号任务规划方法（如PDDL）在固定规则和可预测对象类别的领域中有效，但在开放式家庭环境中缺乏灵活性，机器人需要处理模糊的用户指令、检测新型或非结构化对象，并应对不断变化的空间配置。因此，本研究提出了一种基于大型语言模型（LLM）的模块化代理编排系统，旨在通过自然语言理解、上下文推理和基于记忆的适应性来增强任务规划的灵活性，解决长程家庭任务中的对象管理和用户交互问题。
Method
本研究提出了一种基于LLM驱动的代理编排架构的具身机器人系统，主要包括以下组件和步骤：
- 核心架构：系统由三个专门的代理组成——路由代理、任务规划代理和知识库代理，每个代理由针对特定任务的LLM驱动。路由代理负责分析用户请求并将其分类为行动命令或历史查询；任务规划代理处理需要机器人执行的操作；知识库代理回答关于过去交互的问题。
- 任务规划：任务规划代理通过摄像头感知获取环境更新，利用Grounded SAM进行对象检测和分割，并结合视觉语言模型（VLM）生成自然语言描述。LLM根据用户命令和高水平或低水平描述生成结构化任务计划（以JSON格式输出），包括涉及的对象和目标位置，随后通过Control-GraspNet进行抓取估计。
- 记忆检索：采用检索增强生成（RAG）机制，知识库代理通过将对话历史嵌入向量数据库（ChromaDB）并根据用户查询检索相关上下文来回答问题，同时加入时间戳以支持时间推理。
- 学习方式：系统利用上下文学习（In-Context Learning），避免显式模型训练，并使用离线LLM以保护隐私。 整体方法旨在通过模块化设计和自然语言驱动的记忆机制实现长程任务规划和动态适应。
Experiment
实验设计旨在评估系统在家庭环境中的任务规划、记忆检索和代理协调能力，具体设置如下：
- 实验场景：在人工家庭环境中测试三个场景（餐桌清理、客厅整理、办公桌组织），每个场景包含不同的对象和用户命令，涉及五个预定义放置位置（如水槽、垃圾桶）。
- 评估阶段：分为任务规划性能（对象分配准确率）、知识库可靠性（回答过去行动的准确率）和路由可靠性（任务分配准确率）三个阶段，每个场景和问题重复测试五次。
- 模型与工具：测试了三种开源LLM（Qwen2.5-32B、Gemma2-27B、LLaMa3.1-8B），结合OpenAI Swarm框架进行代理协调，RAG使用BGE-M3嵌入模型和ChromaDB数据库。
- 结果分析：任务规划中，Qwen2.5表现最佳，总准确率达84.3%（宽松标准），而LLaMa3.1在严格标准下表现较差（56.4%）。知识库测试中，RAG显著提升回答准确率，Qwen2.5达到91.3%。路由方面，LLaMa3.1成功率最高（92.5%）。
- 合理性与局限：实验设置较为结构化，场景设计反映了常见家庭任务，但未充分模拟真实环境的复杂性和长期交互的挑战。结果表明方法在特定任务上有改进，但对用户主观偏好的依赖和RAG在长历史查询中的局限性未被充分解决，实验深度和广度有待加强。
Further Thoughts
本文提出的代理编排和RAG记忆检索机制为家庭机器人任务规划提供了一个有趣的视角，但其局限性也启发了一些更深层次的思考。首先，RAG在长历史交互中的表现不佳可能与纯语言驱动的记忆表示有关，是否可以结合结构化知识表示（如场景图）来提升检索效率和准确性，值得进一步探索。其次，系统对离线LLM的依赖虽然保护了隐私，但可能限制了其在需要实时更新或云端支持的场景中的应用，未来可以考虑联邦学习（Federated Learning）等方法在隐私和性能之间取得平衡。此外，本文的实验场景较为有限，未涉及多机器人协作或更复杂的用户交互，是否能在多代理（Multi-Agent）系统中扩展这种架构是一个有趣的方向。最后，作者提到用户主观偏好对评估的影响，这让我联想到人机交互（Human-AI Interaction）领域的研究，如何设计更个性化的任务规划系统以适应不同用户的习惯和偏好，可能是一个重要的跨领域研究方向。