随着过去几年电商渗透率快速提升，仓储、物流场景对效率、自动化的需求不断增强。Pick and Place 是仓储和物流系统中非常重要的一环，将其进行自动化是提升物流效率的核心，我们看到越来越多的 Pick and Place Robot 被部署在仓储和物流场景中。

将 Deep Learning 应用于 Pick and Place Robot 也是行业关键变量之一。在应用 Deep Learning 以前，Pick and Place Robot 通过获取特定物品的 3D 模型进行拣选，该方法的局限性在于机器人很难拾取此前没有建模和编码的新物品，且在部署到实际场景时，需要针对特定物品手动调整算法，过程非常复杂且低效。因此，基于传统方法，Pick and Place Robot 只能在结构化的场景中进行，无法 scale 到复杂场景。加入 Deep Learning 算法后，机器人不需要针对特定对象进行建模，而是通过大规模数据的训练，机器人可以从自身经验中学习，完成更新、更广泛的任务。

Covariant 就是在 Deep Learning 这波浪潮中起来的一家将 AI 技术应用到机器人领域的公司。Covariant 于 2017 年成立，创始团队成员分别是 UC Berkeley 教授 Pieter ABBeel 和他的三位学生 Peter Chen、Rocky Duan 和 Tianhao Zhang。其中，Pieter Abbeel、Peter 和 Rocky 三人在创立 Covariant 之前，都曾在 OpenAI 工作。Pieter Abbeel 教授是 AI 和机器人领域非常重要的人物，是将深度强化学习应用在机器人领域的先驱。

公司核心产品是 Covariant Brain，即一个通用的 AI 系统，在计算机视觉层面已经能够做到较好的通用性和可靠性。Covariant Brain 可以适配到不同硬件中，与下游硬件厂商或集成商一同为客户提供服务。同时，Covariant 也在开发自己的硬件，提供端到端的解决方案。Covariant 目前从仓储和物流的 pick and place 场景切入，公司长期愿景是研发出可以使机器人适用于各类场景、完成各类任务的通用的 foundation model。

机器人的 foundation model 是我们非常期待看到的，如果能够实现，在家庭和商业场景中都将产生巨大的价值。但目前仍有很多困难的问题需要解决，比如 Covariant 选择切入的 manipulation 环节如何实现泛化就是学术界目前重点关注但尚未解决的问题，除此之外还有许多系统化、工程化、商业化方面的问题。本文也针对这些问题进行了讨论。

以下为本文目录，建议结合要点进行针对性阅读。