TidyBot利用 OpenAI 的 GPT-3 Davinci 模型 一款能听懂英语指令并执行家务的机器人

普林斯顿大学、斯坦福大学和谷歌的一组研究人员，利用 OpenAI 的 GPT-3 Davinci 模型，研发出了一款能听懂英语指令并执行家务的机器人，名为 TidyBot。这款机器人可以根据用户的喜好，自动完成如分类洗衣服、捡起地上的垃圾、收拾玩具等任务。

GPT-3 Davinci 模型是一种深度学习模型，属于 GPT 模型系列的一部分，可以理解和生成自然语言。该模型具有强大的总结能力，可以从大量的文本数据中学习复杂的对象属性和关系。研究人员利用这种能力，让机器人根据用户提供的几个示例对象放置位置，如“黄色衬衫放在抽屉里，深紫色衬衫放在衣柜里，白色袜子放在抽屉里”，然后让模型总结出用户的一般偏好规则，并应用到未来的交互中。

研究人员在论文中写道：“我们的基本见解是，LLM（大型语言模型）的总结能力与个性化机器人的泛化需求非常匹配。LLM 展示了通过总结实现泛化的惊人能力，利用从海量文本数据集中学习到的复杂对象属性和关系。”

他们还写道：“与需要昂贵的数据收集和模型训练的传统方法不同，我们展示了 LLM 可以直接开箱即用地实现机器人领域的泛化，利用它们从海量文本数据中学习到的强大的总结能力。”

研究人员在论文网站上展示了一个机器人，它能够将洗衣服分为浅色和深色，回收饮料罐，扔掉垃圾，收拾包和餐具，将散落的物品放回原处，并将玩具放入抽屉。

研究人员首先测试了一个基于文本的基准数据集，其中输入了用户偏好，并要求模型创建个性化规则来确定物品归属。模型将示例总结为一般规则，并使用总结来确定新物品的放置位置。基准场景定义在四个房间中，每个房间有 24 个场景。每个场景包含两到五个放置物品的地方，并且有相同数量的已见和未见物品供模型分类。他们写道，这个测试在未见物品上达到了 91.2% 的准确率。

当他们将这种方法应用到真实世界的机器人 TidyBot 时，他们发现它能够成功地收拾 85% 的物体。TidyBot 在八个真实场景中进行了测试，每个场景有一组十个物品，并在每个场景中运行机器人 3 次。据IT之家了解，除了 LLM，TidyBot 还使用了一个叫做 CLIP 的图像分类器和一个叫做 OWL-ViT 的物体检测器。

佐治亚理工学院交互计算学院的助理教授徐丹飞（Danfei Xu）在谈到谷歌的 PaLM-E 模型时表示，LLM 使机器人具有更多的问题解决能力。“以前的任务规划系统大多依赖于一些形式的搜索或优化算法，这些算法不太灵活，也很难构建。LLM 和多模态 LLM 使这些系统能够从互联网规模的数据中受益，并轻松地用于解决新问题。”他说。