微软和非营利研究组织MITER联手加快了网络安全下一章的发展：保护基于机器学习的应用程序并面临新的对抗性威胁。 这两个组织与学术机构以及IBM和Nvidia等其他大型技术公司合作，发布了一种新的开源工具，称为“对抗机器学习威胁矩阵”。该框架旨在组织和分类已知的针对机器学习系统的攻击技术，以通知安全分析人员并为他们提供检测，响应和补救威胁的策略。

该矩阵根据与威胁的各个方面(例如执行和渗透)以及初始访问和影响有关的标准对攻击进行分类。为了建立框架，Microsoft和MITRE的团队分析了对现有应用程序进行的实际攻击，他们对这些攻击进行了审查，以有效地抵御AI系统。

MITRE决策科学研究计划负责人Mikel Rodriguez说：“如果您只是想像一下潜在挑战和脆弱性的范围，那么您将一事无成。” “相反，有了这个威胁矩阵，安全分析人员将能够使用基于真实事件的威胁模型，这些事件模型通过机器学习来模拟对手的行为，”

随着AI系统日益成为我们日常生活的基础，该工具似乎很及时。从金融到医疗保健，再到国防和关键基础设施，机器学习的应用在过去几年中成倍增长。但是MITRE的研究人员认为，组织在急于加快新算法的开发速度的同时，常常无法审查其系统的安全性。

越来越多的调查表明，行业内对保护AI系统免受对抗性威胁的重要性缺乏了解。实际上，在过去三年中，谷歌，亚马逊，微软和特斯拉等公司都看到了他们的机器学习系统以一种或另一种方式被欺骗。

MITRE高级副总裁查尔斯·克兰西(Charles Clancy)表示：“这仅仅是系统故障，还是因为恶意行为者导致其行为异常，人工智能都可能造成重大破坏。” “有些人担心我们所依赖的系统(如关键基础架构)将受到攻击，由于AI变坏而毫无希望地陷入困境。”

因此，算法容易出错，尤其是当算法受不良行为者的恶意干预影响时。在另一项研究中，一组研究人员最近对AI在未来15年内的潜在应用进行了排名。在令人担忧的前景清单中，当算法被用于公共安全或金融交易等关键应用中时，就是人工智能系统构成的攻击机会。

正如MITER和Microsoft的研究人员所指出的，攻击可能以多种不同的形式发生。威胁一直存在，从贴在标牌上的贴纸到自动驾驶汽车上的自动系统做出错误的决策，再到使用专门名称的更复杂的网络安全方法，例如逃避，数据中毒，木马或后门。

因此，集中所有有效威胁机器学习应用程序的方法的各个方面，可以在帮助安全专家防止将来对其系统进行攻击方面大有帮助。

Rodriguez说：“通过提供不同漏洞的通用语言或分类法，威胁矩阵将促进组织之间更好的沟通和协作。”

MITRE的研究人员希望从道德黑客那里收集更多信息，这要归功于一种公认的网络安全方法，即红色团队。这样做的目的是让仁慈的安全专家团队寻找方法，以在不良行为者之前破解漏洞，将其馈送到现有的攻击数据库中，并全面了解可能的威胁。

Microsoft和MITER都有自己的红队，他们已经演示了一些可直接用于矩阵的攻击。例如，它们包括对机器学习模型的回避攻击，该攻击可以修改输入数据以引起针对性的错误分类。