大约十年前，深度学习模型开始在各种任务上取得超人的成绩，从击败世界冠军棋盘游戏玩家到在诊断乳腺癌方面胜过医生。这些功能强大的深度学习模型通常基于人工神经网络，最早于1940年代提出，并已成为一种流行的机器学习类型。计算机学习使用模仿人脑的互连节点或神经元层来处理数据。

随着机器学习领域的发展，人工神经网络也随之发展。

深度学习模型现在通常由多层中的数百万或数十亿个互连节点组成，这些节点经过训练可以使用大量数据执行检测或分类任务。但是由于这些模型非常复杂，即使是设计它们的研究人员也不能完全理解它们是如何工作的。这使得很难知道它们是否正常工作。

例如，也许一个旨在帮助医生诊断患者的模型正确预测皮肤病变是癌性的，但它通过关注一个不相关的标记来做到这一点，这种标记碰巧在照片中有癌组织时经常出现，而不是癌组织组织本身。这被称为虚假相关。该模型得到了正确的预测，但它这样做的原因是错误的。在癌症阳性图像上没有出现标记的真实临床环境中，可能会导致漏诊。

围绕这些所谓的“黑盒”模型存在如此多的不确定性，人们如何才能解开盒子里发生的事情呢?

这个难题导致了一个新的快速发展的研究领域，研究人员在该领域开发和测试解释方法(也称为可解释性方法)，旨在阐明黑盒机器学习模型如何进行预测。

什么是解释方法?

在最基本的层面上，解释方法要么是全局的，要么是局部的。局部解释方法侧重于解释模型如何做出特定预测，而全局解释则试图描述整个模型的整体行为。这通常是通过开发一个单独的、更简单的(并且希望可以理解的)模型来模仿更大的黑盒模型来完成的。

但由于深度学习模型以复杂和非线性的方式工作，因此开发有效的全局解释模型尤其具有挑战性。计算机科学与人工智能实验室(CSAIL)交互式机器人组的研究生YilunZhou解释说，这导致研究人员将他们最近的大部分注意力转向局部解释方法，他研究可解释的模型、算法和评估。机器学习。

最流行的局部解释方法类型分为三大类。

第一种也是最广泛使用的解释方法被称为特征归因。特征归因方法显示模型做出特定决策时哪些特征最重要。

特征是输入机器学习模型并用于其预测的变量。当数据是表格时，特征是从数据集中的列中提取的(它们使用各种技术进行转换，以便模型可以处理原始数据)。另一方面，对于图像处理任务，图像中的每个像素都是一个特征。例如，如果模型预测X射线图像显示癌症，则特征归因方法将突出显示特定X射线中对模型预测最重要的像素。

本质上，特征归因方法显示了模型在进行预测时最关注的内容。

“使用此特征归因解释，您可以检查是否存在虚假相关性。例如，它会显示水印中的像素是否突出显示，或者实际肿瘤中的像素是否突出显示，”周说。

第二种解释方法被称为反事实解释。给定一个输入和一个模型的预测，这些方法展示了如何更改该输入以使其落入另一个类别。例如，如果机器学习模型预测借款人将被拒绝贷款，反事实解释会显示需要更改哪些因素才能接受她的贷款申请。也许她的信用评分或收入(模型预测中使用的两个特征)需要更高才能获得批准。

“这种解释方法的好处是它准确地告诉你需要如何改变输入来翻转决定，这可能有实际用途。对于正在申请抵押贷款但没有得到它的人来说，这个解释会告诉你他们需要做些什么来达到他们想要的结果，”他说。

第三类解释方法称为样本重要性解释。与其他方法不同，此方法需要访问用于训练模型的数据。

样本重要性解释将显示模型在做出特定预测时最依赖哪个训练样本;理想情况下，这是与输入数据最相似的样本。如果观察到一个看似不合理的预测，这种类型的解释特别有用。可能存在影响用于训练模型的特定样本的数据输入错误。有了这些知识，就可以修复该样本并重新训练模型以提高其准确性。

如何使用解释方法?

开发这些解释的一个动机是执行质量保证和调试模型。例如，随着对特征如何影响模型决策的更多了解，人们可以识别出模型工作不正确并进行干预以解决问题，或者将模型扔掉并重新开始。

另一个最近的研究领域是探索使用机器学习模型来发现人类以前没有发现的科学模式。例如，一个优于临床医生的癌症诊断模型可能是错误的，或者它实际上可能发现了X射线图像中的一些隐藏模式，这些模式代表了人类医生不知道或被认为是癌症的早期病理途径无关紧要，周说。

然而，该研究领域仍处于早期阶段。

警告语

MarzyehGhassemi说，虽然解释方法有时对机器学习从业者在试图捕捉模型中的错误或了解系统的内部运作时很有用，但最终用户在实践中尝试使用它们时应谨慎行事，CSAIL的助理教授和健康ML小组负责人。

随着机器学习在越来越多的学科中得到应用，从医疗保健到教育，解释方法被用来帮助决策者更好地理解模型的预测，以便他们知道何时信任模型并在实践中使用它的指导。但Ghassemi警告不要以这种方式使用这些方法。

“我们发现，无论是专家还是非专家，解释都会让人们对特定推荐系统的能力或建议过度自信。我认为人类不要关闭内部电路询问‘让我质疑建议’是非常重要的我被

给予，'”她说。

她引用微软研究人员最近的一些研究补充说，科学家们知道，根据最近的其他工作，解释会使人们过度自信。

解释方法远非灵丹妙药，也存在一些问题。一方面，Ghassemi最近的研究表明，解释方法会使偏见长期存在，并导致弱势群体的结果更糟。

解释方法的另一个缺陷是，通常无法从一开始就判断解释方法是否正确。需要将解释与实际模型进行比较，但由于用户不知道模型是如何工作的，这是循环逻辑，周说。

他和其他研究人员正在努力改进解释方法，以便更忠实于实际模型的预测，但周警告说，即使是最好的解释也应该持保留态度。

“此外，人们普遍认为这些模型是类人的决策者，我们容易过度概括。我们需要让人们冷静下来并阻止他们，以真正确保他们从这些局部解释中建立的广义模型理解是平衡，”他补充道。

周的最新研究试图做到这一点。

机器学习解释方法的下一步是什么?

Ghassemi认为，研究界需要做更多的努力来研究如何将信息呈现给决策者以便他们理解，而不是专注于提供解释，并且需要制定更多的法规以确保机器学习模型能够在实践中负责任地使用。仅靠更好的解释方法并不能解决问题。

“我很高兴看到有更多的认可，即使是在行业中，我们不能仅仅利用这些信息并制作一个漂亮的仪表板，并假设人们会因此而表现得更好。你需要在行动上有可衡量的改进，我希望这能带来真正的指导方针，以改善我们在这些深度技术领域(如医学)显示信息的方式，”她说。

除了专注于改进解释的新工作外，周希望看到更多与特定用例的解释方法相关的研究，例如模型调试、科学发现、公平审计和安全保证。通过识别解释方法的细粒度特征和不同用例的要求，研究人员可以建立一个理论，将解释与特定场景相匹配，这有助于克服在现实世界场景中使用它们所带来的一些陷阱。