一个能够听懂您的指令，早上起床就能为您泡一杯热咖啡，甚至还能即兴在盘子上画出可爱图案的机器人已经成为现实。

3月19日，一项发表在《 Nature Machine Intelligence》上的文章，研究人员制作了一种名为具身化大语言模型使能机器人 (Embodied Large Language Model-Enabled Robot, ELLMER) 的创新框架，该框架利用GPT-4和检索增强生成技术，赋予机器人在不可预测的环境中完成复杂任务的能力，标志着机器人智能迈向了一个全新的阶段。

首先探讨了“智能”的本质。如果说深蓝（Deep Blue）首个击败国际象棋世界冠军的计算机是真正智能的话，那么它难道不应该能够自己移动棋子吗？这个看似简单的反问引出了一个深刻的观点：人类智能并非仅仅存在于大脑的抽象认知过程，而是与身体如何与周围环境互动紧密相连，即具身认知。

为了验证将机器人的感觉运动能力与人工智能相结合能否实现机器人智能的飞跃，研究团队开发了ELLMER框架。该框架独特地结合了视觉和力觉等感觉运动反馈控制，并与集成了检索增强生成（RAG） 和精选知识库的大型语言模型（LLM）的认知能力相结合。ELLMER将使机器人能够生成代码并执行带有力觉和视觉反馈的动作，从而有效地赋予机器人一种智能形式。

ELLMER的核心组件包括：

•大型语言模型 (LLM)： 研究使用了 GPT-4。它能够处理用户查询和环境数据，将高级抽象任务分解为可执行的步骤。GPT-4赋予了机器人所需的抽象推理能力。

•检索增强生成 (RAG)： ELLMER利用RAG基础设施，从精选的知识库中提取上下文相关的示例，生成包含力觉和视觉反馈的动作计划，并能够适应不断变化的环境。在实验中，研究人员探索了多种RAG方法，最终选择了通过GPT平台的知识功能，将逻辑组织在Markdown文件中的精选知识库上传到定制的GPT API，利用其内置的嵌入器和模型进行高效检索。

•视觉系统： 系统采用 Azure Kinect深度相机，以640×576像素的分辨率和30帧/秒的采样率提供视觉输入。通过14厘米的AprilTag进行校准，实现了相机与机器人基座之间小于10⁻⁶的精确对齐。Grounded-Segment-Anything 被成功部署为语言到视觉模块，生成了物体的三维体素表示，有效识别物体姿态。

•力觉反馈： ATI多轴力/扭矩传感器 提供了足够的力觉反馈，实现了熟练的物体交互。该传感器能够测量六个方向的力和扭矩，精度在满量程的约2%以内，采样率为100赫兹。研究表明，在任务执行过程中，机器人展现出多种运动动态，并伴随不同的力觉反馈类型。

研究人员在让机器人执行咖啡制作和盘子装饰的任务中对ELLMER进行了测试。实验结果表明，ELLMER框架使得机器人能够成功完成这些包含一系列子任务的长时程任务，每个子任务都受益于不同的反馈类型和方法。

一个实例：ELLMER能够响应抽象的高级口头提示（“我累了，朋友们快来吃蛋糕了。你能给我做一杯热饮，并在盘子上画一个随机的动物吗？”），并完成制作热饮和在盘子上绘制形状的期望任务。

机器人回应道：“我正在准备制作一杯热饮，并用随机动物图案装饰盘子。首先，我会找一个马克杯，然后舀咖啡并倒入热水。之后，我会拿一件物品，可能是一支笔，在盘子上画一个随机的动物。听起来会是一个有趣又温馨的蛋糕时光。”

ELLMER不仅能完成实用的任务，还能进行艺术创作。通过集成 DALL-E，ELLMER能够从用户指定的关键词（如“随机的鸟”、“随机的植物”）生成图像，提取轮廓并将其转换为机器人可以执行的绘画轨迹。在绘画过程中，力觉反馈能够确保均匀的笔压。

ELLMER集成了语言处理，RAG，力觉 和视觉，使机器人能够适应复杂任务，标志着在构建能够理解和操纵环境的智能机器人方面取得了重大进展。它使得机器人能够更有效地探索和互动环境，模拟人类智能中经验与行动之间的联系，并有望获得一种“物理智能”，通过环境探索驱动感觉运动学习过程。

有理由期待机器人能力将实现指数级的增长，并迎来一个前所未有的自动化新时代。

参考文献：Mon-Williams, R., Li, G., Long, R. et al. Embodied large language models enable robots to complete complex tasks in unpredictable environments. Nat Mach Intell (2025). https://doi.org/10.1038/s42256-025-01005-x