根据今天发表在《自然方法》杂志上的评论文章,使用机器学习进行研究的生命科学领域的研究人员应该采用允许其他研究人员重现他们的结果的标准。
作者解释说,这些标准是推动科学突破、推动知识进步以及确保研究结果可从一组科学家复制到另一组科学家的关键。这些标准将允许其他科学家群体专注于下一个突破,而不是花时间重新制作原始研究作者建造的轮子。
科罗拉多大学医学院健康人工智能中心主任 Casey S. Greene 博士是该文章的通讯作者,他与第一作者 Benjamin J. Heil 合着,他是 Greene 研究的成员团队以及来自、加拿大和欧洲的研究人员。
“归根结底,所有科学都需要信任——没有科学家可以从他们阅读的每篇论文中复制结果,”格林和他的合著者写道。“那么,问题是如何确保生命科学中的机器学习分析是可信的。”
Greene 和他的合著者概述了符合三个可访问性级别之一的标准:青铜级、白银级和黄金级。这些标准各自设定了共享研究材料的最低水平,以便其他生命科学研究人员可以信任这项工作,并在必要时验证工作并在此基础上继续发展。
为了获得青铜标准,生命科学研究人员需要公开他们的数据、代码和模型。在机器学习中,计算机从训练数据中学习,并且能够访问这些数据使科学家能够寻找可能混淆过程的问题。该代码告诉未来的研究人员如何告诉计算机执行工作步骤。
在机器学习中,生成的模型至关重要。对于未来的研究人员来说,了解原始研究团队的模型对于理解它与应该分析的数据的关系至关重要。如果无法访问模型,其他研究人员就无法确定可能影响工作的偏见。例如,可能很难确定算法是否偏爱一组人而不是另一组人。
“无法检查模型也使得信任它变得困难,”作者写道。
白银标准要求提供青铜级别的数据、模型和代码,并添加有关运行代码的系统的更多信息。对于接下来的科学家来说,这些信息使他们在理论上有可能复制训练过程。
为了符合黄金标准,研究人员必须在他们的工作中添加一个“简单按钮”,以便未来的研究人员可以使用单个命令重现之前的分析。最初的研究人员必须将他们分析的所有步骤自动化,以便“尽可能减少重现他们工作的负担”。对于下一位科学家来说,这些信息实际上可以复制训练过程并对其进行调整或扩展。
Greene 和他的合著者还提供了记录步骤和分享步骤的建议。
在自然法的文章是使用机器学习和健康科学等领域,其中信任是特别重要的其他数据分析方法的不断细化了重要贡献。Greene 是最近被 CU 医学院招募的几位领导者之一,该项目旨在开发和应用强大的数据科学方法来推进生物医学研究、教育和临床护理。