麻省理工学院新闻报道，微软和麻省理工学院的研究人员开发的新模型能够识别自主系统从与实际发生的事件不匹配的训练示例中学到的实例。该模型似乎可以在将来用于提高人工智能系统(如无人驾驶车辆和自动驾驶机器人)的安全系数。这两个组织的研究人员在几篇论文中介绍了他们的发现，这些论文将在即将举行的人工智能发展协会会议上发表。

“该模型可以帮助自治系统更好地了解未知信息，”计算机科学和人工智能实验室的研究生Ramya Ramakrishnan表示。“很多时候，当部署这些系统时，它们训练有素的模拟与实际设置不符，并且可能会犯错误，例如发生事故。这种想法是利用人类来弥补模拟与模拟之间的差距。现实世界中，以一种安全的方式，因此我们可以减少其中一些错误。”

研究人员使用的方法首先使AI系统经过模拟培训，在该系统中，系统会创建一个“策略”，将各种情况映射到可以采取的最佳行动。然后使该系统在现实世界中工作，在该世界中，人类会在禁止系统动作的区域中发出错误信号。允许人类以多种方式(即“更正”和“演示”)向系统提供信号。例如，在某些驾驶情况下，自动驾驶汽车的方向盘后面的驾驶员可能会强制输入，以告知系统在这些情况下其行为并非不可接受。然后，系统记录哪些情况和行动对是可以接受的和不可接受的。

根据Ramakrishnan的说法，下一步是编辑信息以询问：“在收到这些混合信号的情况下，我有可能犯错吗?” 如果系统从模拟中获悉让步救护车是正确的(十次中有九次被给予救护车)，则阻止救护车的人工输入将被视为“正确”的动作。简而言之，诸如阻塞急速救护车之类的例外可能会使系统混乱甚至恶化。

“当系统部署到现实世界中时，它可以使用该学习到的模型来更加谨慎和明智地采取行动。如果该学习到的模型预测状态是高概率的盲点，则该系统可以向人类查询可接受的动作，以便更安全地执行。” Ramakrishnan补充说。这对将在即将举行的人工智能促进协会会议上发表的论文最初是在去年的自主代理和多代理系统会议上发表的。