假设您想制造世界上最好的爬楼梯机器人。您需要针对大脑和身体进行优化，或许可以通过为机器人提供一些高科技的腿和脚，再加上强大的算法来实现攀爬。

尽管身体及其大脑的设计，即“控制”是让机器人移动的关键因素，但现有的基准环境只支持后者。对这两个元素进行共同优化是很困难的——即使没有设计元素，也需要大量时间来训练各种机器人模拟来做不同的事情。

麻省理工学院计算机科学与人工智能实验室 (CSAIL) 的科学家旨在通过设计“进化健身房”来填补这一空白，这是一个大规模测试系统，用于协同优化软机器人的设计和控制，从自然和进化过程中汲取灵感.

模拟器中的机器人看起来有点像柔软、可移动的俄罗斯方块碎片，由网格上的柔软、刚性和致动器“细胞”组成，执行步行、攀爬、操纵物体、变形和导航等任务。地形。为了测试机器人的能力，该团队通过结合设计优化和深度强化学习 (RL) 技术的标准方法开发了自己的协同设计算法。

协同设计算法的功能有点像功率耦合器，其中设计优化方法改进机器人的身体，而 RL 算法优化控制器(连接到机器人以控制运动的计算机系统)以用于建议的设计。设计优化询问“设计的性能如何?” 并且控制优化以一个分数作为响应，该分数可能看起来像“行走”的 5 分。

结果看起来像一个小机器人奥运会。除了步行和跳跃等标准任务外，研究人员还包括一些独特的任务，如攀爬、翻转、平衡和爬楼梯。

在超过 30 种不同的环境中，机器人在简单的任务上表现得很好，比如走路或搬运物品，但在更困难的环境中，比如抓和举起，它们表现不佳，显示了当前协同设计算法的局限性。例如，有时优化的机器人在许多任务上表现出团队所说的“令人沮丧”的明显非最佳行为。例如，“接球手”机器人通常会向前俯冲以接住落在它后面的落块。

尽管机器人设计是从头开始自主进化的，并且没有协同设计算法的先验知识，但在朝着更多进化过程迈进的过程中，它们通常会变得类似于现有的自然生物，同时性能优于手工设计的机器人。

“通过 Evolution Gym，我们的目标是突破机器学习和人工智能算法的界限，”该项目的首席研究员、麻省理工学院本科生 Jagdeep Bhatia 说。“通过创建一个专注于速度和简单性的大规模基准测试，我们不仅创建了一种通用语言来在强化学习和协同设计空间中交换想法和结果，而且还使研究人员无需最先进的计算资源来为这些领域的算法开发做出贡献。我们希望我们的工作让我们离拥有像你我一样智能的机器人的未来更近了一步。”

在某些情况下，让机器人像人类一样学习，反复试验可以导致理解任务的最佳性能，这就是强化学习背后的思想。在这里，机器人通过获取一些有助于它的信息来学习如何完成诸如推动积木之类的任务，例如“看到”积木的位置以及附近的地形是什么样的。然后，机器人会测量它的表现(“奖励”)。机器人推块越多，奖励就越高。机器人必须同时平衡探索(可能会问自己“我可以通过跳跃来增加奖励吗?”)和剥削(进一步探索增加奖励的行为)。

算法为不同的设计提出的“细胞”的不同组合非常有效：一个进化成类似于具有腿状结构的奔马，模仿在自然界中发现的东西。登山机器人进化出两条手臂和两条腿状结构(有点像猴子)来帮助它攀爬。升降机器人类似于一个两指抓手。

未来研究的一个途径是所谓的“形态学发展”，当机器人获得解决更复杂任务的经验时，它会逐渐变得更加智能。例如，您首先优化一个简单的机器人行走，然后采用相同的设计，优化它的携带，然后爬楼梯。随着时间的推移，与从一开始就直接训练相同任务的机器人相比，机器人的身体和大脑“变形”为可以解决更具挑战性的任务。

佛蒙特大学机器人学教授 Josh Bongard 说：“进化健身房是人工智能社区日益意识到身体和大脑是支持智能行为的平等伙伴的一部分。” “要弄清楚这种伙伴关系可以采取什么形式，还有很多工作要做。健身房很可能是解决此类问题的重要工具。”

Evolution Gym 是开源的，可以免费使用。这是设计使然，因为研究人员希望他们的工作能激发协同设计中新的和改进的算法。

Bhatia 与麻省理工学院本科生 Holly Jackson、麻省理工学院 CSAIL 博士一起撰写了这篇论文。学生Yunsheng Tian和Jie Xu，以及麻省理工学院教授Wojciech Matusik。他们将在 2021 年神经信息处理系统会议上介绍这项研究。