英伟达研究人员已经找到了一种方法，可以利用在虚拟环境中创建的数据来训练机器人在现实世界中拾取物体.. 利用合成数据训练的卷积神经网络系统可以使用Baxter机器人和RGB摄像机实时检测物体的位置。

试验中使用了一罐汤、一个芥末瓶和一盒Cheez-Its来训练系统，使其能将物品轻轻地放入人手中。

为了创建他们的合成数据，来自西雅图Nvidia机器人实验室的研究人员为UnrealEngine4创建了一个自定义插件，生成了两组超过12万张标记的合成图像。

生成的数据随机化了物体的位置、照明和阴影等东西，使机器人能够在更动态的环境中操作。

“当我们在训练过程中把这两个数据集中在一起时，我们发现网络能够在对真实数据进行训练的最先进网络的水平上（甚至更好地）运行。 因此，这是我们第一次看到合成数据训练的结果，击败了一个网络的真实数据训练。

这篇论文和它的发现是基于今年早些时候Nvidia研究人员发布的工作，在这项工作中，机器人通过摄入在虚拟环境中产生的大量数据来接受拾取物体的训练。

用于创建插件的代码已经公开，因此研究人员可以在比学术实验室更健壮的环境中训练机器人。

“机器人正在进入日常应用领域，所以有垂直市场，比如农业和制造业，然后有更多的横向市场，比如家用机器人、医疗机器人和诸如此类的东西。 我认为在所有这些市场中，机器人以安全的方式和反应的方式感知世界是很重要的，这样他们就可以对周围世界的变化做出反应。 因此，我们开发的这项技术，我们认为这是朝着这个方向迈出的有意义的一步。

研究结果将于本周在瑞士苏黎世举行的机器人学习会议上发表。

除了Birchfield，这项研究是由Nvidia机器人研究负责人Dieter Fox、Jonathan Tremblay、Thang To、Balakumar Sundaralingam和Yu Xiang撰写的。