快速准确地读取 X 射线或其他一些医学图像对患者的健康至关重要，甚至可能挽救生命。获得这样的评估取决于熟练的放射科医生的可用性，因此，快速反应并不总是可能的。出于这个原因，麻省理工学院计算机科学与人工智能实验室 (CSAIL) 博士后和最近的博士研究生 Ruizhi "Ray" Liao 说，“我们希望训练能够重现放射科医生每天所做工作的机器。” 廖是与麻省理工学院和波士顿地区医院的其他研究人员共同撰写的一篇新论文的第一作者，该论文将于今年秋季在医学图像计算国际会议 MICCAI 2021 上发表。

虽然利用计算机来解释图像的想法并不新鲜，但麻省理工学院领导的小组正在利用一种未被充分利用的资源——伴随医学图像的大量放射学报告，由放射科医生在常规临床实践中撰写——来提高解释能力机器学习算法。该团队还利用信息理论中的一个概念，称为互信息——一种对两个不同变量相互依存关系的统计测量——以提高他们方法的有效性。

这是它的工作原理：首先，一个神经网络通过向患者展示大量患者肺部的 X 射线图像以及医生对每个病例​​严重程度的评级，训练有素来确定疾病的程度，例如肺水肿。该信息封装在一组数字中。一个单独的神经网络对文本做同样的事情，用不同的数字集合表示它的信息。然后第三个神经网络以协调的方式整合图像和文本之间的信息，最大化两个数据集之间的互信息。CSAIL 首席研究员、麻省理工学院教授 Polina Golland 解释说：“当图像和文本之间的互信息很高时，这意味着图像对文本具有高度预测性，而文本对图像具有高度预测性。”

Liao、Golland 和他们的同事引入了另一项具有多项优势的创新：他们不是从整个图像和放射学报告工作，而是将报告分解为单个句子以及这些句子所属的图像部分。Golland 说，通过这种方式，“与查看整个图像和整个报告相比，可以更准确地估计疾病的严重程度。而且由于该模型正在检查较小的数据片段，因此它可以更容易地学习并有更多的样本要训练在。”

虽然廖发现这个项目的计算机科学方面很吸引人，但他的主要动机是“开发具有临床意义并适用于现实世界的技术”。

Golland 表示，该模型可能具有非常广泛的适用性。“它可以用于医学领域内外的任何类型的图像和相关文本。此外，这种通用方法可以应用于图像和文本之外，这令人兴奋。”