机器之心报道

编辑：杜伟、小舟

GPT-4 与机器人又擦出了新的火花。

‍论文地址：https://arxiv.org/pdf/2310.01361.pdf‍

GenSim 框架由以下三部分组成：

同时该框架通过两种不同的模式运行。其中在目标导向设置中，用户有特定的任务或者希望设计一个任务课程。这时 GenSim 采取自上而下的方法，以预期任务作为输入，迭代地生成相关任务以实现预期目标。而在探索性环境中，如果缺少目标任务的先验知识，则 GenSim 逐渐探索现有任务以外的内容，并建立与任务无关的基础策略。

在下图 1 中，研究者初始化了包含 10 个人工策划任务的任务库，使用 GenSim 对它进行扩展并生成 100 多个任务。

研究者还提出了几个定制化的指标来渐进地衡量生成模拟任务的质量，并在目标导向和探索性设置中评估了几种 LLM。其中对于 GPT-4 生成的任务库，他们对 GPT-3.5 和 Code-Llama 等 LLM 进行有监督微调，进一步提升了 LLM 的任务生成性能。同时通过策略训练定量地衡量任务的可实现性，并提供不同属性的任务统计数据和不同模型之间的代码比较。

不仅如此，研究者还训练了多任务机器人策略，与仅仅在人工策划任务上训练的模型相比，这些策略在所有生成任务上都能很好地泛化，并提高了零样本泛化性能。其中与 GPT-4 生成任务的联合训练可以将泛化性能提升 50%，并在模拟中将大约 40% 的零样本任务迁移到新任务中。‍

最后，研究者还考虑了模拟到真实的迁移，表明在不同模拟任务上的预训练可以将真实世界的泛化能力提升 25%。

总之，在不同 LLM 生成的任务上训练的策略实现了对新任务的更好任务级泛化能力，彰显了通过 LLM 扩展模拟任务来训练基础策略的潜力。

Tenstorrent AI 产品管理总监 Shubham Saboo 给予了这项研究很高的评价，他表示，这是 GPT-4 结合机器人的突破性研究，通过 GPT-4 等 LLM 来生成 autopilot 上的一系列模拟机器人任务，使机器人的零样本学习和真实世界适应成为了现实。

任务创建器

如下图 3 所示，语言链会首先生成任务描述，然后再生成相关的实现。任务描述包括任务名称、资源和任务摘要。该研究在 pipeline 中采用少样本 prompt 来生成代码。

实验及结果

该研究通过实验来验证 GenSim 框架，针对以下具体问题：（1）LLM 设计和实现模拟任务的效果如何？GenSim 可以改进 LLM 在任务生成方面的表现吗？(2) 对 LLM 生成的任务进行训练是否可以提高策略泛化能力？如果给出更多的生成任务，策略训练是否会受益更多？(3) 针对 LLM 生成的模拟任务进行预训练是否有利于现实世界的机器人策略部署？

评估 LLM 机器人模拟任务的泛化能力

如下图 6 所示，对于探索模式和目标导向模式任务生成，少样本和任务库的两阶段 prompt 链可以有效提高代码生成的成功率。

使预训练模型适应真实世界

研究者将模拟环境中训练的策略迁移到了真实环境中。结果如下表 1 所示，在 70 个 GPT-4 生成的任务上进行预训练的模型在 9 个任务上进行了 10 次实验，取得 68.8% 的平均成功率，与仅在 CLIPort 任务上进行预训练的基线模型相比提升了 25% 以上，与仅在 50 个任务上预训练的模型相比提升了 15%。

研究者还观察到，对不同模拟任务的预训练提高了长期复杂任务的稳健性。比如说，GPT-4 预训练的模型在真实世界的 build-wheel 任务上表现出了更加稳健的性能。

生成任务统计。下图 9 (a) 中，研究者展示了 LLM 生成的 120 个任务的不同特征的任务统计。其中 LLM 模型生成的颜色、资产、动作和实例数量之间存在着有趣的平衡。例如，生成的代码包含了很多超过 7 个对象实例的场景，以及很多拾起 - 放置原始动作和块等资产。

代码生成比较。下图 9 (b) 中，研究者定性地评估了 GPT-4 和 Code Llama 的自上而下实验中的失败案例。

更多技术细节请参阅原论文。